R语言tm包中文文本处理

读入中文分词数据

读入的中文停用词包是数据框形式，需要转为向量。

首先转为 matrix
然后再转为vector
data11 <- read.table(“Dcs.txt”,header=F,na.string=“999.99”)
ee <-as.matrix(data11)
dd <- as.vector(ee)

在用tm分词时还会出现“错误于gsub(sprintf("(*UCP)\b(%s)\b", paste(words, collapse = “|”))”这种错误，解决方法如下：

出现这个的原因是stopwordsCN存在非UTF-8的字符,解决方法:
stopwordsCN<-enc2utf8(stopwordsCN) #转utf-8
stopwordsCN<-stopwordsCN[Encoding(stopwordsCN)!=“unknown”]#去除未知编码字符

步骤

生成语料库、去停用词、提取词干等若干预处理操作。见以下链接即可。
R语言文本挖掘tm包详解
R语言 tm包的使用

对中文文本分析很重要的思路
先利用专门的包中文分词再利用tm包进行去停停词等预处理。若是英文数据不需要这么麻烦，直接可利用tm包进行分词处理。
主要参考R中文处理