1。fetcher线程的循环逻辑
1)如果有严重错误,则中断
2)从FetchList获得下一个fetch条目,如果没有,则退出
3)从fetch条目中提取URL信息
4) 如果没有被标记为抓取,就调用this.handleNoFetch(),并置状态为status=1,接着执行:
1,获得URL的MD5 摘要
2,创建一个FetcherOutput(fle, hash, status)
3,
1)如果有严重错误,则中断
2)从FetchList获得下一个fetch条目,如果没有,则退出
3)从fetch条目中提取URL信息
4) 如果没有被标记为抓取,就调用this.handleNoFetch(),并置状态为status=1,接着执行:
1,获得URL的MD5 摘要
2,创建一个FetcherOutput(fle, hash, status)
3,