浅谈NLP 文本分类/情感分析 任务中的文本预处理工作
转载自仅供学习参考NLP相关的文本预处理NLP文本预处理一直是一个很受关注的问题,当下最常用的文本预处理工具当属nltk,功能统一,api也很简单,安装的话直接输入:pip install nltkpython#进入pythonimport nltknltk.download()#下载需要的内容一般来讲,最简单最常见的预处理就是把一整段文本分词化(Tokenize),对于一段文本(Sentence),可以直接调用nltk库功能将其分词化,返回结果为一个词表(word list)。
转载
2021-04-09 15:47:21 ·
330 阅读 ·
0 评论