好,咱们继续。
parse
$bin/nutch parse $commonOptions $skipRecordsOptions $CRAWL_PATH/segments/$SEGMENT
CLASS=org.apache.nutch.parse.ParseSegment
这就是传说中的解析网页内容的操作。
map中:
首先只解析成功的内容,看上一步返回的状态码,如果不是成功的情况直接 return . 下一步又是通过插件来解析文本的,看来得重开一篇专门讲插件的, 干活都在插件中。
updatedb
$bin/nutch updatedb $commonOptions $CRAWL_PATH/crawldb $CRAWL_PATH/segments/$SEGMENT
CLASS=org.apache.nutch.crawl.CrawlDb
更新 crawlDb中的内容了。
map中:
万年不变的 urlfilter urlNormalizers 这一步看吐了。
然后根据 segments 下面 fetch 和 parse 中的内容更新 crawlDB 。为下一轮抓取做一些准备。
下一个操作是invertlinks 跟抓取没有什么关系。暂时忽略吧。