#初始抓取库
bin/nutch generate crawl/crawldb crawl/segments -topN 2000
s1=`ls -d crawl/segments/2* | tail -1`
echo $s1
bin/nutch fetch $s1
bin/nutch parse $s1
bin/nutch solrindex http://127.0.0.1:8983/solr/core2 crawl/crawldb $s1
注意:1、schema.xml是从nutch/conf/schema.xml复制过来的
2、solr6以后默认启用的schema是managed-schema,要想使用schema.xml须在solrconfig.xml配置<schemaFactory class="ManagedIndexSchemaFactory">
3、<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />要去掉enablePositionIncrements属性(已废弃),否则实例化失败。
bin/nutch inject crawl/crawldb urls
bin/nutch generate crawl/crawldb crawl/segments -topN 2000
s1=`ls -d crawl/segments/2* | tail -1`
echo $s1
bin/nutch fetch $s1
bin/nutch parse $s1
bin/nutch updatedb crawl/crawldb $s1
#bin/nutch invertlinks crawl/linkdb -dir crawl/segments
bin/nutch solrindex http://127.0.0.1:8983/solr/core2 crawl/crawldb $s1
注意:1、schema.xml是从nutch/conf/schema.xml复制过来的
2、solr6以后默认启用的schema是managed-schema,要想使用schema.xml须在solrconfig.xml配置<schemaFactory class="ManagedIndexSchemaFactory">
3、<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />要去掉enablePositionIncrements属性(已废弃),否则实例化失败。
4、solrconfig.xml里的fieldtype一般都比nutch的schemal.xml定义的fieldtype多个s,要去掉。
5 $s1代表最新的segment