前面的文章我们专门讲过,为了给没有深厚的计算机基础的研究者使用,GooSeeker分词和文本分析软件工具在开发过程中,参考学习了多个优秀的分词软件,其中就有ROST-CM内容挖掘软件。本文专门针对分词这一个功能专项,对比一下ROST和集搜客分词软件的不同。
ROST作为一款优秀的内容挖掘工具,在自然语言处理上提供一系列能够快速上手使用的功能,其中“分词”功能也是广为使用的。我们在对文本进行分词处理的过程中,由于词库是固定的,所以不管是用哪一款分词软件,也都有可能出现分词结果中没有你想要的那个词,即使这个词确实是在文本中存在的。下面我们主要讲解分词的操作过程和自定义词的添加过程。
下面我通过实际应用场景来说明一下,前面我的一篇文章《毕业论文写什么——微博数据挖掘相关的论文》其中有一块分析,专门对微博数据挖掘相关的论文的标题做了分词和统计分析,就用到了分词处理功能。本文还是以那个数据集为例进行讲解。
数据进行共享了,有兴趣的话可以自己试验一下。
1,用ROST进行分词处理
在我们常见的研究场景中,分词以后基本上都要做词频统计,所以我们考察 “分词-词频统计”联合在一起的操作过程。下面的操作过程可以看到,ROST把这两个过程明确分开,要做两步
1.1,用ROST进行分词
ROST不支持对excel文件进行分词,所以先将刚刚的实验数据复制到txt文档中,如下。
选择“功能性分析” > "分词”,将刚刚准备的txt文档导入后点击“确定”。
ROST分完词之后会自动将分词结果打开,文件储存在分词文件所在的路径中,可以看到结果已经进行分词了。
1.2 用ROST进行词频分析