1.由于nutch2.x没有提供安装版本,需要先编译再安装,所以从官网下载源码。
2.编译需要用到ant,所以首先得安装ant工具。
3.修改conf/nutch-site.xml文件,vi conf/nutch-site.xml,添加如下内容:
<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>
<property>
<name>http.agent.name</name>
<value>My Nutch Spider</value>
</property>
4.修改ivy/ivy.xml文件,添加有关gora的依赖
<dependency org="org.apache.gora" name="gora-hbase" rev="0.5" conf="*->default" />
5.修改ivy/ivy.xml文件中的有关hadoop版本,改成集群的hadoop版本
<dependency org="org.apache.hadoop" name="hadoop-core" rev="1.2.1" conf="*->default”>
<dependency org="org.apache.hadoop" name="hadoop-test" rev="1.2.1" conf="test->default”>
5.修改conf/gola.properies文件,打开gora对hbase的支持,新增如下内容:
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
6.在nutch的主目录使用编译命令,ant,编译。
7.测试安装是否成功
7.1)新建urls/seed.txt文件,将http://163.com写入文件,每一行为一个目标地址。
http://163.com
7.2)执行nutch inject将刚刚新建的url注入到hbase中
bin/nutch inject urls #将刚刚新建的url注入到hbase中
bin/nutch fetch -all #抽取
bin/nutch parse -all #转换
bin/nutch updatedb #更新数据库
7.3)进入hbase shell,查看hbase中的webpage表
bin/hbase shell #进入hbase shell
list #列出hbase中的表
scan 'webpage' #查看webpage表
参考文章:nutch 集成 hbase