在之前实验的代码中,我自己对文本进行了解析,并自己实现了基础的Hierarchical Clustering Model,实验结果有一定的效果,但是随着数据量的增大和伴随着的数据噪声的增大,实验的正确率发生了下降。
所以我开始对各部分进行了优化。
目前我的算法框架大体分为了两部分,
(一)Extend and Integrate
(二)Cluster
我首先对CLuster部分进行优化。
由于我尝试自己实现cluster算法过程,我发现,在短时间内,我的算法只是实现了核心部分,算法的优化和扩展并没有实现。所以我决定尝试使用Java现有的包进行实验。
我找到了java-ml这个开源的Machine Learning and Data Mining的Java包,并开始了学习和尝试,这篇博客就是记录我学习和使用初期日志。
java-ml的数据结构
instance
分类:两种 DenseInstance和SparseInstance
模版:<Double[], Object class>,可以用class来指示这个instance
dataset
是instance的集合
Clustring 的应用
使用方法
Clusterer km = new KMeans();
Dataset[] clusters = km.cluster(data);
得到不同的cluster