利用python—jieba包进行分词和移除停用词

利用python—jieba包进行分词和移除停用词

用python-jieba包进行分词和移除停用词只做了最基础的学习，不知道是这一部分本来就比较简单还是我学习的都是最基础部分，总之学习路上过于顺利了，下面我将介绍在这一部分中学习到的知识。。。。。。

首先：在pycharm中直接安装jieba包，然后新建python file即可实现下列代码

1.分词
①基础部分：我大致了解了下面3种分词模式但是4种写法
&1& 全模式以及输出，中间以“/”分隔


&2& 精确模式以及输出，中间以“，”分隔


&3& 默认为精确模式以及输出，中间以“，”分隔


&4& 搜索引擎模式以及输出，中间以“，”分隔


②读取csv文件中的内容并进行分词，最后存储在csv文件中

2.移除停用词
①基础部分：移除一句话中的停用词并输出结果


②对csv文件中的文本进行分词并移除txt文档中规定的停用词，最后写入csv文件中

3遇到的问题
①读取csv文件的时候读取不到：在路径前面加一个r
②写入csv文件中间有空行：在写入csv文件的open()函数内加入newline=’’

4.参考博客
jiaba分词基本用法：https://blog.csdn.net/u010707315/article/details/79252964
读取csv文件并进行分词：https://blog.csdn.net/jiasudu1234/article/details/70065917
移除停用词：https://www.cnblogs.com/xiaoli2018/p/4953170.html
csv有空行问题：http://www.cnblogs.com/littlebob/p/9293931.html