nutch crawdb update 详解

crawdb update

[img]http://dl.iteye.com/upload/attachment/0070/9302/e36cc6e0-519e-3a58-8ae0-bdb1eef4840f.jpg[/img]

map :CrawlDbFilter 这个map主要是用来合并数据的
输入，fetch产生的segment目录下面的crawl_fetch 和crawl_parse 以及crawldb/current ,

key:Text value:CrawlDatum
如果设置了urlNormalizers=true 对url进行normalize
如果设置了urlFiltering=true 对url进行过滤
如果url不为空 写入
key : Text 为url value: CrawlDatum
reduce :CrawlDbReducer 主要是用来合并数据的状态的，去重复
1 如果存在多个数据 如果数据没有fetch的，去fetchtime最新的数据（没有fetch 也是有fetchtime的）， 如果数据已经fetch的，也是取fetchtime最新的数据。
2 如果已经fetch 的，去的数据的 签名，元数据 ，和外链
3 db.update.additions.allowed 这里有个配置如果为false，则crawldb中不存在的url不update，如果为false，新的url插入crawldb。
4 如果url没有fetch，说明是这个数据不需要update直接写入
5 如果已经fetch，而且crawldb 也有数据，则把crawldb的数据的元数据，putfetch的数据的元数据里面
6 根据状态设置相关的值
7 设置分数，异常generatortime
8 写入
更新数据，主要是把job的输出目录设置为crawldb的current