基于optics算法的文本分类程序

1、optics算法学习参考：

http://wenku.baidu.com/link?url=PSuqnCODDnGkouaZRphb0Rlj5A2rX3CzywTk8ThPs7MLImOTRx5GquOrPQjG6NDUODItjebvMpPLZx6eEUW5Q2bUdpnJWa0qamMp0vPuqae

http://blog.163.com/liaoxiangui@126/blog/static/7956964020121015102359195/

2、optics算法给定E值（中心偏移距离），minPts聚类点数量；在特定的E值和minPts条件下的聚类输出；

3、执行聚类算法的准备：

1）在去除听用词的基础上（重要，可去掉大部分对文本内容无影响的高频词），对文本进行中文分词；

2）对给定的全部文本在完成分词的基础上利用TF—IDF算法计算权重，不建议直接使用词频（未具体考虑文本长度和整个文本样本空间效果确实不好）；

3）选择文本的特征向量，本次测试我是根据文本长短的不同，取全部文本中包含的特征向量，或部分，长文本取15%的特征向量；

4、计算样本空间中文本两两之间的相似度（采用夹角余弦算法）；

5、利用相似度计算结果以及给定的E值、minPts按照optics算法输出聚类信息，由于在聚类的过程中，应用的目的只是判断那些文本内容可聚合，而不具体掌握文本之间聚合的程度，因此对算法进行改进：直接输出核心节点及其可达节点以及扩展的可达节点，没有严格进行节点排序；测试结果基本让人满意；