中文停用词词表-自然语言处理

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分 。
自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面 。
语言是人类区别其他动物的本质特性。在所有生物中,只有人类才具有语言能力。人类的多种智能都与语言有着密切的关系。人类的逻辑思维以语言为形式,人类的绝大部分知识也是以语言文字的形式记载和流传下来的。因而,它也是人工智能的一个重要,甚至核心部分。
用自然语言与计算机进行通信,这是人们长期以来所追求的。因为它既有明显的实际意义,同时也有重要的理论意义:人们可以用自己最习惯的语言来使用计算机,而无需再花大量的时间和精力去学习不很自然和习惯的各种计算机语言;人们也可通过它进一步了解人类的语言能力和智能的机制。
自然语言处理是指利用人类交流所使用的自然语言与机器进行交互通讯的技术。通过人为的对自然语言的处理,使得计算机对其能够可读并理解。自然语言处理的相关研究始于人类对机器翻译的探索。虽然自然语言处理涉及语音、语法、语义、语用等多维度的操作,但简单而言,自然语言处理的基本任务是基于本体词典、词频统计、上下文语义分析等方式对待处理语料进行分词,形成以最小词性为单位,且富含语义的词项单元。
自然语言处理( Natural Language Processing, NLP)是以语言为对象,利用计算机技术来分析、理解和处理自然语言的一门学科,即把计算机作为语言研究的强大工具,在计算机的支持下对语言信息进行定量化的研究,并提供可供人与计算机之间能共同使用的语言描写。包括自然语言理解( NaturalLanguage Understanding, NLU)和自然语言生成( Natural LanguageGeneration, NLG)两部分。它是典型边缘交叉学科,涉及到语言科学、计算机科学、数学、认知学、逻辑学等,关注计算机和人类(自然)语言之间的相互作用的领域。人们把用计算机处理自然语言的过程在不同时期或侧重点不同时又称为自然语言理解( Natural Language Understanding, NLU)、人类语言技术( Human Language Technology, HLT)、计算语言学Hl(Computational Linguistics)、计量语言学( QuantitativeLinguistics)、数理语言学( Mathematical Linguistics)

import nltk
from nltk.corpus import stopwords
stopwords.words('english')

根据网上现有全部资源,整理去重在提取中文词(而不是大量英文词和中文标点符号)出了一个比较全面的词表出来,一共1598个。




哎呀
哎哟


俺们

按照

吧哒

罢了


本着

比方
比如
鄙人

彼此


别的
别说

并且
不比
不成
不单
不但
不独
不管
不光
不过
不仅
不拘
不论
不怕
不然
不如
不特
不惟
不问
不只

朝着

趁着



除此之外
除非
除了

此间
此外

从而



但是

当着



的话

等等


叮咚

对于

多少

而况
而且
而是
而外
而言
而已
尔后
反过来
反过来说
反之
非但
非徒
否则

嘎登




各个
各位
各种
各自

根据


故此
固然
关于


果然
果真


哈哈



何处
何况
何时


哼唷
呼哧


还是
还有
换句话说
换言之

或是
或者
极了

及其
及至

即便
即或
即令
即若
即使

几时


既然
既是
继而
加之
假如
假若
假使
鉴于


较之

接着
结果

紧接着
进而

尽管

经过

就是
就是说

具体地说
具体说来
开始
开外



可见
可是
可以
况且


来着

例如


连同
两者



另外
另一方面



慢说
漫说



每当

莫若

某个
某些


哪边
哪儿
哪个
哪里
哪年
哪怕
哪天
哪些
哪样

那边
那儿
那个
那会儿
那里
那么
那么些
那么样
那时
那些
那样

乃至



你们


宁可
宁肯
宁愿


啪达
旁人


凭借

其次
其二
其他
其它
其一
其余
其中

起见
岂但
恰恰相反
前后
前者

然而
然后
然则

人家

任何
任凭

如此
如果
如何
如其
如若
如上所述

若非
若是

上下
尚且
设若
设使
甚而
甚么
甚至
省得
时候
什么
什么样
使得

是的
首先

谁知

顺着
似的

虽然
虽说
虽则

随着

所以

他们
他人

它们

她们

倘或
倘然
倘若
倘使


通过

同时

万一



为何
为了
为什么
为着

嗡嗡

我们

呜呼
乌乎
无论
无宁
毋宁


相对而言


向着



沿
沿着

要不
要不然
要不是
要么
要是

也罢
也好

一般
一旦
一方面
一来
一切
一样
一则

依照


以便
以及
以免
以至
以至于
以致
抑或

因此
因而
因为



由此可见
由于

有的
有关
有些


于是
于是乎

与此同时
与否
与其
越是
云云

再说
再者

在下

咱们


怎么
怎么办
怎么样
怎样


照着


这边
这儿
这个
这会儿
这就是说
这里
这么
这么点儿
这么些
这么样
这时
这些
这样
正如


之类
之所以
之一
只是
只限
只要
只有

至于
诸位

着呢

自从
自个儿
自各儿
自己
自家
自身
综上所述
总的来看
总的来说
总的说来
总而言之
总之

纵令
纵然
纵使
遵照
作为







喔唷



啊哈
啊呀
啊哟
挨次
挨个
挨家挨户
挨门挨户
挨门逐户
挨着
按理
按期
按时
按说
暗地里
暗中
暗自
昂然
八成
白白


保管
保险

背地里
背靠背
倍感
倍加
本人
本身

比起
比如说
比照
毕竟

必定
必将
必须
便
别人
并非
并肩
并没
并没有
并排
并无
勃然

不必
不常
不大
不得
不得不
不得了
不得已
不迭
不定
不对
不妨
不管怎样
不会
不仅仅
不仅仅是
不经意
不可开交
不可抗拒
不力
不了
不料
不满
不免
不能不
不起
不巧
不然的话
不日
不少
不胜
不时
不是
不同
不能
不要
不外
不外乎
不下
不限
不消
不已
不亦乐乎
不由得
不再
不择手段
不怎么
不曾
不知不觉
不止
不止一次
不至于

才能
策略地
差不多
差一点

常常
常言道
常言说
常言说得好
长此下去
长话短说
长期以来
长线
敞开儿
彻夜
陈年
趁便
趁机
趁热
趁势
趁早
成年
成年累月
成心
乘机
乘胜
乘势
乘隙
乘虚
诚然
迟早
充分
充其极
充其量
抽冷子



出来
出去
除此
除此而外
除此以外
除开
除去
除却
除外
处处
川流不息

传说
传闻
串行

纯粹
此后
此中
次第
匆匆
从不
从此
从此以后
从古到今
从古至今
从今以后
从宽
从来
从轻
从速
从头
从未
从无到有
从小
从新
从严
从优
从早到晚
从中
从重
凑巧

存心
达旦
打从
打开天窗说亮话

大不了
大大
大抵
大都
大多
大凡
大概
大家
大举
大略
大面儿上
大事
大体
大体上
大约
大张旗鼓
大致
呆呆地


待到

单纯
单单
但愿
弹指之间
当场
当儿
当即
当口儿
当然
当庭
当头
当下
当真
当中
倒不如
倒不如说
倒是
到处
到底
到了儿
到目前为止
到头
到头来
得起
得天独厚
的确
等到
叮当
顶多

动不动
动辄
陡然


独自
断然
顿时
多次
多多
多多少少
多多益善
多亏
多年来
多年前
而后
而论
而又
尔等
二话不说
二话没说
反倒
反倒是
反而
反手
反之亦然
反之则

方才
方能
放量
非常
非得
分期
分期分批
分头
奋勇
愤然
风雨无阻



嘎嘎
该当

赶快
赶早不赶晚

敢情
敢于

刚才
刚好
刚巧
高低
格外
隔日
隔夜
个人
各式

更加
更进一步
更为
公然

共总
够瞧的
姑且
古来
故而
故意


怪不得
惯常

光是
归根到底
归根结底
过于
毫不
毫无
毫无保留地
毫无例外
好在
何必
何尝
何妨
何苦
何乐而不为
何须
何止

很多
很少
轰然
后来
呼啦
忽地
忽然

互相
哗啦
话说

恍然

豁然

伙同
或多或少
或许
基本
基本上
基于

极大
极度
极端
极力
极其
极为
急匆匆
即将
即刻
即是说
几度
几番
几乎
几经
既…又
继之
加上
加以
间或
简而言之
简言之
简直

将才
将近
将要
交口
较比
较为
接连不断
接下来
皆可
截然
截至
藉以
借此
借以
届时

仅仅

进来
进去

近几年来
近来
近年来
尽管如此
尽可能
尽快
尽量
尽然
尽如人意
尽心竭力
尽心尽力
尽早
精光
经常

竟然
究竟
就此
就地
就算
居然
局外
举凡
据称
据此
据实
据说
据我所知
据悉
具体来说
决不
决非

绝不
绝顶
绝对
绝非



看来
看起来
看上去
看样子
可好
可能
恐怕

快要
来不及
来得及
来讲
来看
拦腰
牢牢

老大
老老实实
老是
累次
累年
理当
理该
理应


立地
立刻
立马
立时
联袂
连连
连日
连日来
连声
连袂
临到
另方面
另行
另一个
路经

屡次
屡次三番
屡屡
缕缕
率尔
率然

略加
略微
略为
论说
马上



没有
每逢
每每
每时每刻
猛然
猛然间

莫不
莫非
莫如
默默地
默然

那末

难道
难得
难怪
难说

年复一年
凝神
偶而
偶尔


碰巧
譬如
偏偏

平素

迫于
扑通
其后
其实


起初
起来
起首
起头
起先

岂非
岂止

恰逢
恰好
恰恰
恰巧
恰如
恰似


千万
千万千万

切不可
切莫
切切
切勿

亲口
亲身
亲手
亲眼
亲自

顷刻
顷刻间
顷刻之间
请勿
穷年累月
取道

权时
全都
全力
全年
全然
全身心

人人

仍旧
仍然
日复一日
日见
日渐
日益
日臻
如常
如此等等
如次
如今
如期
如前所述
如上
如下

三番两次
三番五次
三天两头
瑟瑟
沙沙

上来
上去
一.
一一
一下
一个
一些
一何
一则通过
一天
一定
一时
一次
一片
一番
一直
一致
一起
一转眼
一边
一面
上升
上述
上面

下列
下去
下来
下面
不一
不久
不变
不可
不够
不尽
不尽然
不敢
不断
不若
不足
与其说
专门
且不说
且说
严格
严重
个别
中小
中间
丰富
为主
为什麽
为止
为此
主张
主要
举行
乃至于
之前
之后
之後
也就是说
也是
了解
争取
二来
云尔


产生

人们
什麽

今后
今天
今年
今後
介于
从事
他是
他的
代替
以上
以下
以为
以前
以后
以外
以後
以故
以期
以来
任务
企图
伟大
似乎
但凡
何以
余外
你是
你的
使
使用
依据
依靠
便于
促进
保持
做到
傥然

允许
元/吨
先不先
先后
先後
先生
全体
全部
全面
共同
具体
具有
兼之

再其次
再则
再有
再次
再者说
决定
准备

凡是
出于
出现
分别
则甚
别处
别是
别管
前此
前进
前面
加入
加强
十分
即如

却不
原来
又及
及时
双方
反应
反映
取得
受到
变成
另悉

只当
只怕
只消
叫做
召开
各人
各地
各级
合理
同一
同样

后者
后面
向使
周围
呵呵

唯有
啷当


嘿嘿
因了
因着
在于
坚决
坚持
处在
处理
复杂
多么
多数
大力
大多数
大批
大量
失去
她是
她的

好的
好象
如同
如是
始而
存在
孰料
孰知
它们的
它是
它的
安全
完全
完成
实现
实际
宣布
容易
密切
对应
对待
对方
对比

少数

尔尔
尤其
就是了
就要
属于
左右
巨大
巩固

已矣
已经

巴巴
帮助
并不
并不是
广大
广泛
应当
应用
应该
庶乎
庶几
开展
引起
强烈
强调
归齐
当前
当地
当时
形成
彻底
彼时
往往
後来
後面
得了
得出
得到
心里
必然
必要
怎奈
怎麽
总是
总结
您们
您是
惟其
意思
愿意
成为
我是
我的
或则
或曰
战斗
所在
所幸
所有
所谓
扩大
掌握
接著
数/
整个
方便
方面

无法
既往
明显
明确
是不是
是以
是否
显然
显著
普通
普遍

曾经
替代

最后
最大
最好
最後
最近
最高
有利
有力
有及
有所
有效
有时
有点
有的是
有着
有著
末##末
本地
来自
来说
构成
某某
根本
欢迎

正值
正在
正巧
正常
正是
此地
此处
此时
此次
每个
每天
每年
比及
比较
没奈何
注意
深入
清楚
满足
然後
特别是
特殊
特点
犹且
犹自
现代
现在
甚且
甚或
甚至于
用来
由是
由此
目前
直到
直接
相似
相信
相反
相同
相对
相应
相当
相等
看出
看到
看看
看见
真是
真正
眨眼
矣乎
矣哉
知道
确定

积极
移动
突出
突然
立即
竟而
第二
类如
练习
组成
结合
继后
继续
维持
考虑
联系
能否
能够
自后
自打
至今
至若

般的
良好
若夫
若果
范围
莫不然
获得
行为
行动
表明
表示
要求
规定
觉得
譬喻
认为
认真
认识
许多
设或
诚如
说明
说来
说说

诸如
谁人
谁料
贼死
赖以

转动
转变
转贴
达到
迅速
过去
过来
运用
还要
这一来
这次
这点
这种
这般
这麽
进入
进步
进行
适应
适当
适用
逐步
逐渐
通常
造成
遇到
遭到
遵循
避免
那般
那麽
部分
采取
里面
重大
重新
重要
针对
问题
防止
附近
限制
随后
随时
随著
难道说
集中
需要
非特
非独
高兴
若果

参考https://blog.csdn.net/u010533386/article/details/51458591

论文复现机器学习模型案例大本营(收藏)

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值