nutch2.3+hbase配置

2019独角兽企业重金招聘Python工程师标准>>>

1，版本是个很重要的问题

nutch上面有介绍和nutch配合使用的各框架的版本

2，下载hbase，放在opt/下

3，tar -zxvf hbase-*

4，更改conf 下的 hbase-site.xml文件

添加属性：

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hbase-data</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/opt/hbase-0.94.27/data/zk-data</value>

</property>

</configuration>

5,启动hbase

6，下载nutch，解压

在conf /nutch-site.xml中

<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>

并去掉在ivy.xml中的gora-hbase的注释配置

在gora.properties中加入
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

7，在项目根部录下ant 

8，如果在ant时出现错误，下载不了某个包时，可以自行下载然后上传到.ivy中的相应目录中

问题：

第一次我安装的是hbase-0.90，在inject时就卡住了，然后日志也没有是么提示，困扰了好几天，无奈之下，重新换了hbase，终于好了

InjectorJob: starting at 2015-10-28 23:29:20

InjectorJob: Injecting urlDir: urls/url

InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.

InjectorJob: total number of urls rejected by filters: 0

InjectorJob: total number of urls injected after normalization and filtering: 1

Injector: finished at 2015-10-28 23:29:24, elapsed: 00:00:03

转载于:https://my.oschina.net/u/2494265/blog/523351