nutch 产生的目录说明

nutch 产生的目录说明:

segments目录存储抓取的页面,下面子目录的个数与获取页面的层数有关系,我指定-depth3层,这个目录下就有3层。

  里面有6个子目录

  content,下载页面的内容;

  crawl_fetch,下载URL的状态内容;

  crawl_generate,待下载的URL的集合,在generate任务生成时和下载过程中持续分析出来;

  crawl_parse,存放用来更新crawldb的外部链接库;

  parse_data,存放每个URL解析出来的外部链接和元数据;

  parse_text,存放每个解析过的URL的文本内容;

具体内容,详见http://blog.sina.com.cn/s/blog_5c5168bc0100jz12.html文章。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值