python软件和rost软件哪个更好_ROST-CM软件分词和词频统计用法体验

ROST作为一款优秀的内容挖掘工具，在自然语言处理上提供一系列能够快速上手使用的功能，其中"分词"功能也是广为使用的。我们在对文本进行分词处理的过程中，由于词库是固定的，所以不管是用哪一款分词软件，也都有可能出现分词结果中没有你想要的那个词，即使这个词确实是在文本中存在的。下面我们主要讲解分词的操作过程和自定义词的添加过程。

下面我通过实际应用场景来说明一下，前面我的一篇文章《毕业论文写什么——微博数据挖掘相关的论文》其中有一块分析，专门对微博数据挖掘相关的论文的标题做了分词和统计分析，就用到了分词处理功能。本文还是以那个数据集为例进行讲解。

数据集下载：知网微博数据挖掘研究分析-"论文主题"字段数据

数据进行共享了，有兴趣的话可以自己试验一下。

一.用ROST进行分词处理

在我们常见的研究场景中，分词以后基本上都要做词频统计，所以我们考察 "分词-词频统计"联合在一起的操作过程。下面的操作过程可以看到，ROST把这两个过程明确分开，要做两步。

1.用ROST进行分词

ROST不支持对excel文件进行分词，所以先将刚刚的实验数据复制到txt文档中，如下。

选择"功能性分析" > "分词"，将刚刚准备的txt文档导入后点击"确定"。

ROST分完词之后会自动将分词结果打开，文件储存在分词文件所在的路径中，可以看到结果已经进行分词了。

<