要做一个新闻聚类系统,大概就和http://news.baidu.com类似的。
可是没有什么想法呀!
怎么办呢?
这样的新闻,
要有抓取,存到一种“格式”里,或XML,或HDFS或DB里,
二是要用分类器,基于SVM也好,KNN也好,
三是要有聚类-carrot2,或其它。
这样,三个重要组件都已经想到了,接下来就要设计了
-------------------------------------------
首选,我先省略第二步,不用分类器来分类,而是自己指定抓取的源,这样只要做一个抓取和聚类就可以做出和百度新闻类似的系统了。然后后再训练一个好的分类器。
我的思路就是这样,接下来就开始分析,动手了。
good luck!
可是没有什么想法呀!
怎么办呢?
这样的新闻,
要有抓取,存到一种“格式”里,或XML,或HDFS或DB里,
二是要用分类器,基于SVM也好,KNN也好,
三是要有聚类-carrot2,或其它。
这样,三个重要组件都已经想到了,接下来就要设计了
-------------------------------------------
首选,我先省略第二步,不用分类器来分类,而是自己指定抓取的源,这样只要做一个抓取和聚类就可以做出和百度新闻类似的系统了。然后后再训练一个好的分类器。
我的思路就是这样,接下来就开始分析,动手了。
good luck!