停用词
把停用词、出现频率很低的词汇过滤掉。
原因:经常出现的或者频率很低的词,并没有实际意义的词,可以认为是噪声,会影响模型的判断,给模型带来一定的影响
目的:筛选出价值比较高的特征,可以把停用词理解成价值比较小的特征,可以忽略不计
例子:
英文: the an their
中文:的 啊 好 很好 等
同样也得根据具体的场景进行判断
对于情感分析的词:好,很好 是需要保留的
建议使用:已有的停用词库(如:NLTK),然后删除自己认为有用的词语
筛选规则: 将文本汇总分词之后, 筛选出频次小于10, 20,适当选择
stemming
英文中: 还原或合并操作
如:went go going 把同样意义的词,还原成一个单词。会提升一定的
实现思路:
制定规则(语言学家去找规则,程序员负责设计)
如: sses ------ ss ies--------i s------去掉 (*v*)ing-------去掉ing