07.文本分析

前言：基于人大的《数据科学概论》第七章。主要内容为文本分析的意义、文本分析的任务与方法、文本分析可视化、文本分析工具。

一、文本分析的意义

根据估算，各类组织（包括企业、政府）拥有的数据里，80%是非结构化的数据，其中大部分是文本的形式。

• 非结构化的文本数据，包括电子邮件、博客、微博、客户反馈、医疗记录、合同文本等。
• 这些文本里面，隐藏着潜在的价值。只有通过适当的分析方法，才能从中提取这些有价值的信息。

二、文本分析的任务与方法

1、文本分析的主要任务

包括文本索引与检索、文本分类、文本聚类、文档摘要、主题提取、命名实体识别/概念抽取/关系建模、情感分析等。

文本分析的过程包括几个主要的步骤：

1. 采集文本数据集
2. 运用文本分析方法分析文本
3. 对分析结果进行可视化以及解释和评估分析结果等

2、句子切分、分词、词性标注、语法分析

（1）句子切分和分词

为了对文本进行分析，首先需要把文本切分成一个个句子。接着，需要对句子进行分词。、

（2）词性标注

词性标注（简称POS Tagger）软件，分析某种语言的文本，然后针对每个词赋予POS标记，比如名词、动词

形容词等。