nutch+solor+elcipse安装配置

参考文档：utch搜索引擎（第4期）_ Eclipse开发配置（http://www.cnblogs.com/xia520pi/p/3695617.html）

由于参考文档成文于2014年，时隔近5年过去，软件版本发生了巨大的变化，现根据新版本进行开发。另外，针对以上文件有改正，在此致谢。

1、环境准备

1.1、文件夹目录结构

c:\soengine\

    |----cygwin
    |----NutchWorkPlat
    |----ant
    |----solr
    |----nutch
        |----eclipse
        |----tomcat
        |----workspace

（实际上我使用的是一台服务器作为开发设备，该服务器只有一个c盘，大家都知道，c盘下面各种文件夹都有比较杂乱，因此我新建立了一个文件夹作为根目录）

1.2、本次nutch二次开发所需要的软件版本：

【新建系统变量】

ANT_HOME= E:\NutchWorkPlat\ant

【增加】

PATH=……;%ANT_HOME%\bin; %ANT_HOME%\lib

操作系统：Windows server 2008 r2 standard
ANT版本：apache-ant-1.10.5-bin.tar.gz
JDK版本：jre-8u191-windows-x64.exe（jre1.8.0_181）
Solr版本：solr-7.5.0.zip
Nutch版本：apache-nutch-1.15-bin.tar.gz
Tomcat版本：apache-tomcat-9.0.13.tar.gz
Eclipse版本：4.7（之所以使用4.7是因为已经安装了很长时间了，不想变了。）

(注：现在Nutch分为两个版本:1.x和2.x,这两个版本的主要区别在于底层的存储不同。1.x版本是基于Hadoop架构的,底层存储使用的是分布式文件系统HDFS,而2.x通过使用ApacheGora,使得Nutch可以访问HBase、Cassandra、MySQL、DataFileAvroStore、AvroStore等等，我们这里使用的是hdfs，因此使用的是1.x版本)

下面是安装的Eclipse插件：

IvyDE插件：
Ivy：
    plugins：
        org.apache.ivy_2.5.0.cr1_20180412005306.jar
        org.apache.ivy.eclipse.ant_2.5.0.cr1_20180412005306.jar
    features：
        org.apache.ivy.feature_2.5.0.cr1_20180412005306.jar
IvyDE：
    plugins：
        org.apache.ivyde.eclipse_2.2.0.final-201311091524-RELEASE.jar
    features：
        org.apache.ivyde.feature_2.2.0.final-201311091524-RELEASE.jar

Tomcat插件：
        以前安装的。忘记版本了。

Ant和Ivy可以说是相当古老的开发工具组合，一个编译，一个外部jar管理，现在Maven已经逐步取代Ant+Ivy。Ivy最多由eclipse继承到4版本之前，4之后的版本都已近逐步取消内置Ivy插件了，所以要独立安装。

之所以有plugins和features，是因为该jar包分别拷贝到eclipse下对应的plugins和features目录下面。features目录下方的都是插件的配置信息，启动信息还有一些图片等一些资源，而plugins目录下则方的是jar包，也就是实现插件功能的代码包，还有一些必要的配置信息等。

1.3 JDK安装配置

具体为什么要配置环境变量（就是命令行操作的时候快呗），怎么配置的这里就不写了，百度上一堆，下面是配置：

【新建系统变量】

JAVA_HOME=C:\Program Files\Java\jre1.8.0_181

CLASSPATH=.;%JAVA_HOME%\lib;% JAVA_HOME%\jre\lib

NUTCH_JAVA_HOME=%JAVA_HOME%

【在系统变量Path中增加】

PATH=……;%JAVA_HOME%\bin; %JAVA_HOME%\jre\bin

1.4ant安装配置

把"apache-ant-1.10.5-bin.tar.gz"解压到"E:\NutchWorkPlat"中，并重新命名为"ant"。

【新建系统变量】

ANT_HOME= C:\soengine\NutchWorkPlat\ant

【在系统变量Path中增加】

PATH=……;%ANT_HOME%\bin; %ANT_HOME%\lib

1.5 Ivy和IvyDE安装配置（参考文档：eclipse安装Ivy插件）

参考文档的关于ivy的安装配置在eclipse 4.7安装版上面不可行。

在线安装的方法也不可行，官网给出的在线安装地址也不可用，提示conten.xml无法访问，我查看了下，里面确实没这个文件，却有另外一个文件。但是不支持eclipse。

需要额外说明的是，解压版（免安装版）的eclipse的features和plugins目录就在程序目录下，而安装版的eclipse的features和plugins则是在用户根目录下的\.p2\pool目录中,但是,这两个目录下面eclipse自己带的插件实在太多，复制进去太危险。

所做工作如下：

1、在Ivy网站和Ivyde网站分别下载以下文件：

apache-ivy-2.5.0-rc1-bin-with-deps.zip(注意是带依赖版本)

apache-ivyde-2.2.0.final-201311091524-RELEASE.zip

2、在eclipse安装文件夹下创建custom文件夹，custom目录下创建Ivy和Ivyde文件夹，在ivy问夹下创建plugins文件夹

3、在eclipse\dropins文件夹里面创建两个文件：Ivy.link和Ivyde.link，这两个文件内容分别为：

path=C:\\Users\\Administrator\\eclipse\\java-oxygen\\eclipse\\custom\\Ivy

path=C:\\Users\\Administrator\\eclipse\\java-oxygen\\eclipse\\custom\\Ivyde

4、将apache-ivy-2.5.0-rc1-bin-with-deps.zip解压出的ivy-2.5.0-rc1.jar文件放到C:\Users\Administrator\eclipse\java-oxygen\eclipse\custom\ivy\plugins文件夹里面。

5、将apache-ivyde-2.2.0.final-201311091524-RELEASE.zip解压出的plugins和features放到C:\Users\Administrator\eclipse\java-oxygen\eclipse\custom\Ivyde文件夹里面

6、重启eclipse。

1.6 Tomcat安装配置

下载"apache-tomcat-9.0.13.tar.gz"，并解压到"NutchWorkPlat"目录下，并重新命名为"tomcat"。配置合适的端口号，要能够启动。

打开Windowàpreference对话框里看到tomcat一览，点击tomcat，把刚才解压的tomcat进行关联。

1.7 Cygwin安装配置

本次安装采用的是在线安装，一路next到底。

2、Eclipse开发

1  solr在tomcat上部署

      solr在5.x之后solr的目录结构已经发生了变化，不再提供war包,不能按照参考文档上面的方法进行部署.当然,solor有自部署的方法,但我们不用.

     第一步：把"solr-7.5.0.zip"解压到"E:\NutchWorkPlat"目录下，并命名为"solr"。

     第二步：:将solor\server\solr-webapp\目录下的webapp文件夹复制到Tomcat\webapps\目录下，并改成solr (名字随意，通过浏览器进行访问solr管理界面时要用到）

     第三步:将 sol\server\lib\ext 中的 jar 文件全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中.(有重复文件,略过不覆盖)

     第四步:将 sol\server\lib\中以metrics为前缀的jar 文件(共5个)全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中.

     第五步:将 sol\dist\中以solr-dataimporthandler为前缀的jar 文件(共2个)全部复制到 Tomcat\ webapps\solr\WEB-INF\lib 目录中.

     第六步: 将 solor/ server/resources /log4j2.xml 复制到Tomcat\ webapps\solr\WEB-INF\classes 目录中(需创建classes文件夹)