nutch2.3编译安装和hbase集成

为什么80%的码农都做不了架构师？>>>   

1.由于nutch2.x没有提供安装版本，需要先编译再安装，所以从官网下载源码。

2.编译需要用到ant，所以首先得安装ant工具。

3.修改conf/nutch-site.xml文件，vi conf/nutch-site.xml，添加如下内容：

<property>  
     <name>storage.data.store.class</name>  
     <value>org.apache.gora.hbase.store.HBaseStore</value>  
     <description>Default class for storing data</description>  
</property>
<property>
     <name>http.agent.name</name>  
     <value>My Nutch Spider</value>  
</property>

4.修改ivy/ivy.xml文件，添加有关gora的依赖

<dependency org="org.apache.gora" name="gora-hbase" rev="0.5"  conf="*->default" />

5.修改ivy/ivy.xml文件中的有关hadoop版本，改成集群的hadoop版本

<dependency org="org.apache.hadoop" name="hadoop-core"  rev="1.2.1" conf="*->default”>
<dependency org="org.apache.hadoop" name="hadoop-test" rev="1.2.1" conf="test->default”>

5.修改conf/gola.properies文件，打开gora对hbase的支持，新增如下内容：

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

6.在nutch的主目录使用编译命令，ant，编译。

7.测试安装是否成功

7.1)新建urls/seed.txt文件，将http://163.com写入文件，每一行为一个目标地址。 

http://163.com

7.2)执行nutch inject将刚刚新建的url注入到hbase中

bin/nutch inject urls #将刚刚新建的url注入到hbase中
bin/nutch fetch -all #抽取
bin/nutch parse -all #转换
bin/nutch updatedb #更新数据库

7.3)进入hbase shell，查看hbase中的webpage表

bin/hbase shell #进入hbase shell
list #列出hbase中的表
scan 'webpage' #查看webpage表

参考文章：nutch 集成 hbase

 

 

 

转载于:https://my.oschina.net/cjun/blog/402300