11、结构化文本表示：从数据格式到文本挖掘实践

结构化文本表示：从数据格式到文本挖掘实践

在文本挖掘领域，将文本数据转换为结构化表示是进行有效分析和处理的关键步骤。本文将介绍几种常见的文本数据格式，以及如何在 R 语言中读取和处理这些数据，同时通过具体的示例展示文本挖掘的基本流程。

1. 常见文本数据格式

1.1 CLUTO 矩阵文件

CLUTO 是一个用于聚类低维和高维数据集并分析各类簇特征的软件包。它包含多种聚类算法、相似度/距离函数、聚类准则函数等。CLUTO 使用的矩阵文件（ .mat）可以是稠密矩阵、稀疏矩阵或稠密/稀疏相似度图，用于表示待聚类的数据。
- 稠密矩阵 ：第一行包含矩阵的行数和列数，其余每行代表一个实例，由空格分隔的浮点值组成，包括非零值。
- 稀疏矩阵 ：第一行包含矩阵的行数、列数和非零值的数量，其余每行代表一个实例，由空格分隔的索引和对应非零值的对组成，索引从 1 开始。
- 稠密图格式 ：第一行包含图的顶点数，其余行是一个 $n \times n$ 的邻接矩阵，其中 $n$ 是顶点数，位置 $i$ 和 $j$ 的元素是一个浮点值，表示图中第 $i$ 个和第 $j$ 个顶点的相似度。
- 稀疏图格式 *：第一行包含图的顶点数和边数，其余行是索引 - 值对形式的邻接矩阵，索引从 1 开始。

此外，CLUTO 还接受 rlabel 文件（包含数据矩阵行的标签）、clabel 文件（包含数据矩阵列的标签）和 rclass 文件（包含数据矩阵行的类标签，用于外部簇评估）。