近期会做的项目

1. 大规模文本自动聚类。

目前实验条件有限，只能做到G级别，语料采用搜狐的新闻。

用mapreduce并行化分词，建立VSM。采用经典的tf/idf。

然后并行化的canopy算法进行粗分

再用并行化的k-means，余弦距离度量进行最后的聚类

思路已经想得非常清楚了，接下来就是写代码，得出数据。

2. 大规模文本自动分类。

采用svm或naive bayes算法，前面几步已经想清，最后的并行化没想清楚。

3.这个项目无限期长, 因为首先要把奇异值分解(SVD)的并行搞定。

建立VSM之后，矩阵的维度会变得非常高，采用这种方法可以将算法复杂度降低几个数量级。

做完之后，会继续采用Apache协议开源