文本分析技术

• 文本分析技术介绍

1. 文本分析目标

文本分析是指对文本的表示及其特征项的选取；文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。

文本分析法是指从文本的表层深入到文本的深层，从而发现那些不能为普通阅读所把握的深层意义。

文本分析的目标是：1）原始文本数据化；2）量化后的文本知识化，利用文本数据进行因果推论。

    2、文本分析的步骤

完整文本分析的步骤包括：

1. 读取数据
2. 分词(中文必须有这一步，由于英文是空格间隔的语言，英文有时候不需要分词）
3. 剔除符号和无意义的停止词
4. 字母变小写，词干化
5. 使用一定的编码方式构建文档