nutch与solr集成备忘录

#初始抓取库

bin/nutch inject crawl/crawldb urls

#####one fetch round
bin/nutch generate crawl/crawldb crawl/segments -topN 2000
s1=`ls -d crawl/segments/2* | tail -1`
echo $s1
bin/nutch fetch $s1
bin/nutch parse $s1

bin/nutch updatedb crawl/crawldb $s1

#####invert links

#bin/nutch invertlinks crawl/linkdb -dir crawl/segments

#solr indexing
bin/nutch solrindex http://127.0.0.1:8983/solr/core2 crawl/crawldb $s1


注意：1、schema.xml是从nutch/conf/schema.xml复制过来的
2、solr6以后默认启用的schema是managed-schema,要想使用schema.xml须在solrconfig.xml配置<schemaFactory class="ManagedIndexSchemaFactory">
3、<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />要去掉enablePositionIncrements属性(已废弃）,否则实例化失败。

4、solrconfig.xml里的fieldtype一般都比nutch的schemal.xml定义的fieldtype多个s,要去掉。

5 $s1代表最新的segment