Mac版R语言（六）文本挖掘（用户词库的导入、批量导入搜狗词库）

R语言问题讨论交流，欢迎关注我的新浪微博：Jenny爱学习

文本挖掘应用的博客将分4个部分分别讨论完成，本篇将完成part 1的详细project：

1. 用户字典批量安装，自定义分词词库，自建分词packages的安装
2. jiebaR分词的使用
3. 词云的绘制（wordcloud2详细使用见：Mac版R语言（四）使用wordcloud2画词云点击打开链接）
4. k-means聚类

运行环境Platform: x86_64-apple-darwin13.4.0 (64-bit)，MacOS Sierra 10.12.3，R3.3.2 (2016-10-31)，涉及到的所有packages均更新下载于2017-6月。

所有代码均已全部运行，结果附图，有任何问题欢迎留言讨论。

1.  分词常用packages

1.1 R提供的文本挖掘packages：

•  tm：英文分词工具
• jiebaR：中文分词工具,本身是C++写的，具有极高的运算处理速度
• Rwordseg：中文分词工具，Mac版依赖旧版本的Java，较难安装，版本更新慢，不推荐使用
• chinese.misc：中文分词工具，内核基于Rwordseg
• rmmseg4j：
• snowball:英文词干化

1.2 其他常用汉语分词系统：

• 中科院NLPIR汉语分词系统   :零代码在线版  点击打开链接
• 微软word2vec：基于深度学习的文本挖掘系统

2.  用户词典的建立

 2.1 词库下载

        jiebaR作为目前R平台上最好的中文分词工具，虽然其自带词库和停用词库，但是对于不同行业的研究者来说，自带词库并不能满足所有的研究需求。因此，用户需要自己安装行业内的专用词库，具体词库可以从搜狗词库上下载安装：点击打开链接

2. 2 单个词典导入

2.2.1 零代码转换分词词库

             如果只需要导入单个词典，推荐使用在线版本的词库转换工具，同样是来自jiebaR作者Qin Wenfeng，点击链接进行在线转换：

       点击打开链接

2.2.2  代码导入词库

    cidian包的下载安装方法见下方：2.3 批量词库导入。

新建Rproject工程文件，将project工程文件建立在搜狗词典库同文件夹中。

结果如下图：

在得到的文件中，将转化后的后缀名为.dict搜狗词库名称改为user.dict.utf8，并替换原文件，就将搜狗词典转换为默认的用户词典了。

2.3  批量词库导入

        

          需要进行分词的文档可能综合了许多学科，因此仅仅使用单个词库并不能分出许多不同行业的专用词，这时就需要批量导入多学科词库，对文档进行分词。

        批量导入搜狗词库需要cidian这个package，在R上查看cidian的文档信息，cidian这个包同样来自jiebaR的作者Qin Wenfeng。

        11、13、14行的注释：在载入cidian的时候还需要载入Rcpp和RcppProgress、stringi、pbapply、jiebaR这五个程序包。

        由于词典发布在github上，因此Mac环境下需要借助devtools这个packages安装下载（后面有详细介绍），windows环境需要安装Rtools开发工具才能安装cidian包。

    安装jiebaR中批量导入词库的package

   打开R，根据文档，执行以下代码：       

结果截图

整个代码运行的过程中，要确保每个文件的路径正确，否则可能会生成一些空数据集，

代码运行后，词库所在的文件夹中会生成对应.scel词库的.txt.文件格式，如下图：

将所有生成的.txt文件合并为一个文件

这时得到一个全部.txt格式词库的文件，R中environment显示，整理后的词库约有30万条专业词汇，21.6M：

使用unique()函数去掉重复词语，还剩28万条词：

最后，将去重的词库写出：

write.table(dict1,file = "use.dict.utf8",quote = F,row.names = F,col.names = F,fileEncoding = "UTF-8")

在Rproject文件夹中得到如下结果：

按照2.2.2 中介绍的替换词库的方法，将生成的词库替换至jiebaR的默认用户词库即可。