nutch OnlinCuster 结果集聚合分类插件

本文探讨了 Nutch 1.2 版本中 Carrot2 聚类插件的功能及其实现方式。Carrot2 是一个强大的文档聚类工具,可以对爬取的网页进行分类处理。文中提到了在实际项目中遇到的问题,即如何将 Carrot2 的功能与当前项目需求相结合,实现有效的数据分类。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这个是我现在还没弄明白的东西。。先占个位。。

nutch1.2中自带了carrot2聚合分类插件,但是这方面的中文资料没找到很多,所以有点费解,

看carrot2官方列子感觉很强大,神马分类都能分,但是就是不知道在现在做的项目中如何应用,修改至我想达到的分类效果

估计是缓存机制   nutch1.2在加载超过2页的数据的时候,只会先加载前2页的数据,后面的数据需要请求才能加载,

所以需要分类的结果集只能重新查一遍,把所有的结果集查到,只用于分类

然后遍历结果集,统计。。。。。。

 

暂时么办法,只好先用死办法做做了,以后再优化了。

 

 

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值