文本分词与词频统计是中文文本分析的重要内容,也是主题分析和情感分析的基础,因此如何分词以及改进分词效果是进行文本分析的关键。jiebaR包是R语言中进行文本分析一个十分方便的package,能够对中文文本进行有效处理,此外通过能够通过添加自定义词以及去停用词功能,能够进一步修改和完善分词效果,最后可以结合dplyr包进行词频统计,并且利用绘图函数进行词云图、柱状图、扇形图等图形绘制。
1.1当前网上相关教程存在的一些问题
-
多数教程以一个句子为例,但在做研究过程中,我们往往导入的是一个txt文本或者说是一个Excel文件;
-
对停用词、自定义词关注较少,分词结果的好坏在很大程度上取决于停用词和自定义词;
-
缺乏丰富的展示方法,往往只有一个词云图,除了词云图外还可以进一步绘制柱状图以及饼图等多种图形。
1.2本文主要解决的问题
-
以txt文本数据和Excel数据为例,利用jiebaR进行分词,并导出分词结果;
-
在初步分词结果的基础上,加载自定义词表与去停用词表,进一步优化分词结果;
-
利用dplyr中的arra