开源搜索引擎三巨头
在搭建过程中通过nutch抓取并存放到Hadoop中是可以运行的,但是将Nutch的Job提交给Hadoop,然后Hadoop将索引提交给Solr出现了一个错误
在命令终端只会提示:JobFailed
查看Hadoop集群日志:NoSuchFieldError INSTANCE
查找对比是因为Local模式下,Nutch的Lib包引用的是httpclient-4.3.5.jar和httpcore-4.3.2.jar
但是Hadoop2.7的Lib包引用的是httpclient-4.2.5.jar和httpcore-4.2.5.jar(这两个包里并没有INSTANCE)
解决方法:
将Nutch中lib下的两个jar文件替换掉Hadoop中的/data/hadoop-2.7.2/share/hadoop/common/lib目录下的两个jar即可!!!