NLP--文本清洗--停用词处理
NLP–文本清洗–停用词处理前言近期在处理文本的时候关于停用词的处理有几个想法。导入停用词表这里可以自行上网找相对应的stopwords导入。这里默认的停用词大多是虚词和无意义的语气词、习惯用词。自定义停用词表自定义停用词的情况要示研究目标决定。如果有些词在研究的文档所有文本出现的频率都很高且没有什么意义的话,这类词是可以去除的,如"的", “吗”,更有甚者,在研究政治类文本中出现“文案”、“法案”等几乎所有文本都有的关键词也是可以去除的。设置自定义停用词可能还跟使用的模型有关。不同的模型可能
原创
2022-04-22 13:45:15 ·
4269 阅读 ·
0 评论