文本挖掘的基本过程:
1.文本分析
主要就是对文本进行分词处理(去标点,去停用词,词干处理),找出有含义的最小单位--词。
实例:
提高全体居民的生产生活水平
(1)提高 高全 全体体居 居民 名的 的生 生产 产生 生活 活水 水平
(2)提高 全体居民 的 生产 生活 水平
(3)提高 全体 居民 的 生产 生活 水平
......
哪种是最好的分割呢?不同的方法会产生不同的结果。
基本方法:最大匹配法、最大概率法分词、最短路径分词方法、隐马尔可夫模型方法
2.文档模型及特征提取
文档模型其实就是选择一种计算框架,有三种常用模型:布尔模型、向量空间模型、概率模型。
怎样表示一篇文档,涉及到特征提取:特征词及其权重、关键词摘要、特定信息抽取。
tf:term frequency 词频
idf:inverse document frequency 逆文档频率
3.挖掘
文档特征化后,基于不同的目的,考虑在计算机的世界里完成以下任务:
检索、 分类、 过滤、聚类、 TDT
当然,有时候维度过大,需要考虑降维或者维度重构,所有这些基于数理统计中的矩阵分解(PCA ICA)。
4.结果评价