nutch2.3+hbase-0.94.27 单机爬虫入库初体验

首先介绍下环境：我是在vm上架设的虚拟机 系统是centos7mini版的 ，编译什么的都在我工作的电脑上完成的，工作的电脑是win10 ant 已经配置好

先去github下载nutch2.3的源码：https://github.com/apache/nutch/tree/branch-2.3

然后下载hbase http://apache.fayea.com/hbase/ 下载的版本是 0.9427 
好了 大概需要的东西都准备好了

先准备安装hbase 

解压什么的我就不多废话了

修改下面这个配置 让hbase单机运行 

修改如下

  <property>
    <name>hbase.rootdir</name>
    <value>/root/hbase-0.94.27/</value>
  </property>

接着修改 这个配置

让hbase 自己管理 zookeeper  这个看个人爱好 只需要把下面这句话注释掉即可

 这样 单机hbase就配置好了  

启动前需要配置你的jdk环境变量 我的jdk是yum安装的 就在usr下 所以命令就是

export JAVA_HOME=/usr

如果你没有配置 启动hbase的时候会提示你没有配置java_home 如下图

然后启动就可以了

启动和停止脚本 还有命令脚本都在 hbase的 bin目录下 

使用 bin/start-hbase.sh 启动

使用 bin/stop-hbase.sh 停止

见到如下提示 就是启动成功了

至于 hbase的操作不多废话 百度即可

下面开始配置安装 nutch

我用ant编译时在我的win10机器上 也可以直接在linux上ant 看个人喜好了

先到nutch目录下修改如下文件 nutch-branch-2.3\ivy\ivy.xml

找到这行把注释打开 目的是为了让ivy给我们加载 gora-hbase的jar包

然后再 conf/gora.properties

添加 gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

还要修改 conf/nutch-site.xml 添加如下配置 

    <property>
        <name>http.agent.name</name>
        <value>name</value>
    </property>
    <property>
        <name>storage.data.store.class</name>
        <value>org.apache.gora.hbase.store.HBaseStore</value>
        <description>Default class for storing data</description>
    </property>

然后 切换到nutch目录  直接 输入 ant 如下图

坐等成功

编译完成后 就会生成runtime文件夹，里面有两个文件 一个是deploy 一个是local 这两个区别前者是部署模式 后者是本地模式

我们只需要local里面的文件 把它里面的所有文件都搞进 linux 即可

然后给其执行权限(在nutch目录执行)

chmod -R 777 ./

我们首先要建立一个文件夹urls（可以随意建立） 在里面放进 一个seed.txt 然后在seed.txt里写入 要爬的网址

命令如下

mkdir urls

echo "http://www.sina.com" > urls/seed.txt

万事具备 就差启动

启动命令 

bin/crawl urls testMe 2

nutch 在bin下 提供了两个命令脚本一个 是nutch 这个是可以分布爬取网站信息的。crawl 是整合了所有的分布命令 一个命令就可以完成整个爬去流程

好了 

现在你可以到你的hbase下查看是否有相关的信息了

等待补充。。。。。