nutch与hbase入门

2019独角兽企业重金招聘Python工程师标准>>>

版本说明

     hbase-0.90.4

     apache-nutch-2.2.1

配置

在正式开始运行Nutch之前，还需要做一些必要的配置，不然在运行时会出错，无法按照要求抓取到相应的页面。

第 一个需要修改的文件是 nutch-site.xml, 需要将 HTTP properties 部分的 http.agent.name 赋予一个有意思的字符串；还需要将 plugin properties 部分的 plugin.folders 按照具体的情况做必要修改。清单 1 和清单 2 分别是本文中的 Demo 运行时的具体配置情况，供大家参考。

清单1.

<!-- HTTP properties -->
<property>
  <name>http.agent.name</name>
  <value>testNutch</value>
  <description>Just for Testing
  </description>
</property>

清单2.

<!-- plugin properties -->
<property>
  <name>plugin.folders</name>
  <value>plugin</value>
  <description>Directories where nutch plugins are located.  Each
  element may be a relative or absolute path.  If absolute, it is used
  as is.  If relative, it is searched for on the classpath.</description>
</property>

其次，需要修改的文件是crawl-urlfilter.txt, 将其中的MY.DOMAIN.NAME部分按照实际的域名进行修改。清单3中的配置是对*.ibm.com/域进行抓取。

清单3.

# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*ibm.com/

另外，还需要的一个操作是在conf文件夹下，建立一个名为prefix-urlfilter.txt的文本文件，其中的内容很简单，如清单4所示

转载于:https://my.oschina.net/wangchongya/blog/220277