Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（一）

这是本熊转业的第一篇，本来从事绘画的工作的本熊为什么来搞搜索引擎呢。这要说起前些日子小Y的委托，靠脸吃饭能饿死自己几辈子的本熊。出于这是单身熊的寂寞 ，哪能错过这个刷刷小Y的好感度的机会，于是跳了这个大坑里。

注：本熊搜索引擎新手一枚，本着连初学者都能看懂的想法写的本文，对专业的描述可能还不充分，还请多多指教

---

纯初学者说明模式
本章节主讲实现本地模式

• 最低需要哪些软件
• 版本问题
• 目录规划
• Mint下环境变量异常解决法

---

1.基础配置

从最初的开始讲起，本熊采用的Linux是Mint版本的，其实和ubuntu差不多，本着追时髦的态度选了这个OS，结果成了噩梦的开端，这是后话啦。

开始的准备工作话，少年少女们快去安装java吧
安装配置Linux版本的JDK
（极其重要，必须安装）
网上有许多相关的配置，不劳本熊说明嘛，各位聪明的看官懂得起。

接下来说到Nutch 2.3.1的话，它是基于Gora 0.6.1的，所以版本必须和Gora的版本一致，Apache Gora 官网上是这么描述的

Gora 官方描述

经过本熊研究，但其实我们并不需要这么多就可以完成本地模式抓取的搭建。

最低只需要以下软件：

• Apache Hadoop 1.2.1 and 2.5.2
• Apache HBase 0.98.8-hadoop2 (although also tested with 1.X)
• Apache Solr 4.10.3
• Apache Tomcat（可选，版本随意，用于集成solr）

对你没看没错就这四个就够了，这些都可以在Apache的官网Download，但有一点一定要注意 版本一定要对！ 版本一定要对！ 版本一定要对！ 本熊都说三遍了，这个重要 性各位看官懂得。

举个例子来说，如果Hbase的版本不对将导致Nutch抓取过程中InjectorJob的时间变得很长极长超级长。在这个位置上:

Hbase版本错误的结果

本熊是如何知道的呢？本熊从深夜等到黎明，才进如GeneratorJob进程，最后成功抓取后立刻屁颠屁颠的告诉小Y的时候，小Y已经睡够10的小时了。

总之版本要对，不要追新的，要考虑兼容性，当时本熊的配置是solr6.0，hadoop2.8，Hbase1.0.6，那问题出的千奇百怪，要是当时把版本选对，本熊就可以少数几个晚上的星星了。

下载完是这样的

下载完成后

软件下载完成后：

请拿去解压吧
简单来说随便你们解压到哪里，至于没有图形界面的看官们，那本熊只能推荐一下tar指令，去问可爱仁爱的百度吧。

主目录(/home)容量在10G左右的用户推荐放到容量大的挂载点下，因为后面编译后会很占空间的。

本熊解压在了/usr/Dzy下，这个目录代表着我存放这些软件的地方，今后文中代码中看见了这个路径请自动转换成你解压的位置。

左上角是路径

---

2.环境变量

这个是基础中的基础，不是指难度，是重要度。网上有许多的参考，这个还请各位自行百度，关于如何配置JAVA环境变量，本熊就不做赘述了。

环境变量的配置文件在/etc的目录下，一个叫profile的文件里

凡是看见报错里出现了 JAVA_HOME 这个词的时候，百分之八九十就是环境变量的配置问题，请好好检查哦
注：Error，false，not set，cannot reading，don't exist 输出里出现这些词都要注意啦，就代表有可能出现错误

还有一种状况是source ./profile 也执行了，环境变量始终没有生效，方法试遍了都不行，而且主目录下没有.bashrc的文件，想砸电脑了有没有？

那恭喜你，本熊的Linux Mint上也遇到了，解决办法就是这个

  cd /bin/
  ls -l /bin/sh
  ln -sf bash /bin/sh
  ls -l /bin/sh

copy and past，复制黏贴到终端里执行在重启就好啦，原因在于Bash的新旧问题，不精通linux的本熊不好说明缘由，如果有懂的大神可以告诉本熊

要是还不行，那就上绝招了，在每次开机后，在终端里输入以下命令，要替换命令里面的内容

  set JAVA_HOME=“这里写的是你的jdk的存放路径”
  export JAVA_HOME

还可以配置Hadoop，Hbase的环境变量，但本熊出于保险起见，在之后的命令中都采取了绝对路径

---

第一期完

各位看官有没有觉得别人的电脑和自己的电脑真不一样。为什么别人貌似一帆风顺的就完成了，自己的就这错那错的。

其实可以不用羡慕他们的，因为这些错误遇得见，那它们就一定存在，如果得以解决，这份经验足以使你在某个机遇中得到提示。感觉说这对本熊刷小Y的好感度完全没有帮助啊，苦逼的熊一只

第二期讲solr与Tomcat的集成与solrcloud的搭建

相关内容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（一）
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（二）
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（三）
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（四）