svd文章分类 c语言,SVD在文本分类中的应用

摘要：

随着信息科技的进步和互联网的日益普及,我们的信息正处在一个急剧增长的时代.如何在浩瀚如海的信息空间里,快速查找并获取所需的信息,已成为新的信息时代里最重要的问题之一.海量文本的快速分类成为数据挖掘中的重要研究方向.而文本分类中的特征降维技术成为快速分类的关键. 论文课题的主要研究工作:SVD(奇异值分解)技术在文本分类中应用研究.包括SVD算法的实现与优化;SVD算法K值百分比策略的验证,拟合度概念的提出与应用;KNN与SVD+KNN文本分类算法效果对比.文本分类中的初始特征-文本矩阵往往会有很高的维度,给后续的计算带来了很多不便.而通过简单的特征选择方法,虽然降低了维度,但是不能解决特征词之间的同义词与多义词问题.而特征抽取(比如潜在语义分析)通过对特征语义空间的转换,形成新的语义空间,消除了"噪音".SVD算法作为潜在语义分析的代表工具,很好地完成了这项工作.在潜在语义分析中,SVD的K值选择策略极大地制约着文本分类的效果,本文选择的K值百分比策略能很好地提高文本分类的精度与速度,提出的拟合度概念能很直接地比较两个矩阵的相似程度. 本文通过大量的实验对比,验证了OpenMP对SVD算法的优化效果;验证了K值百分比策略对特征-文本矩阵良好的降维效果和与初始矩阵较高的拟合度;验证了SVD算法能较好地解决同义词和多义词问题,同时提高了文本分类的精度和速度.

展开