nutch 命令

No agents listed in ‘http.agent.name’

 

在 root下的  nutch-default.xml下面

如果一开始的属性设置为：

<property>
    <name> http.agent.name</name>
    <value> HD nutch agent</value>
</property>

 

 

启动 进入目录

bin/crawl -s  /opt/software/apache-nutch-1.18/urls data   5

 

 

查看结果

bin/nutch readdb data/crawldb/ -stats

 

bin/nutch crawl /opt/software/nutch-1.2/weburls.txt -dir weblocal -depth 2 -topN 100 -threads 2

 

 

 

　　重启tomcat以后可以在虚拟机内使用manager app，但是虚拟机外不行。这是因为tomcat进行了ip限制，还需要将限制取消掉。将tomcat文件夹下的webapps/manager/META-INF/context.xml文件夹的以下内容注销掉

　　<Context antiResourceLocking="false" privileged="true" >

　　<!-- <Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" /> -->

　　</Context>