Nutch-2.2.1学习之七Nutch与Solr的集成

原创 2013年12月22日 11:42:23

Nutch以开箱的方式支持Solr,这极大的简化了NutchSolr的集成。Nutch也移除了遗留的对Tomcat运行旧的Nutch web应用程序和Apache Lucene索引的依赖。Nutch1.x2.x关于Solr的区别在于1.x版本可以选择是否使用Solr索引,这需要一步一步地进行爬取工作,而2.x则提供了更为简洁的方式——crawl脚本,直接将爬取成功的页面与Solr集成在一起。当然通过阅读crawl脚本也可以将2.x中的一步到位方式分解为若干步骤,并且选择是否由Solr建立索引。在学习如何将NutchSolr结合在一起使用之前,先看一下Solr官网的介绍。

Solr是从apacheLucene项目发展而来的流行的,非常快速的开源企业级搜索平台。主要特征包括强大的全文检索,分面搜索,近乎实时索引,动态集群,与数据库的集成,丰富的文档处理(比如wordPDF),还有地理空间搜索。Solr是高可靠、可扩展和容错的,提供分布式索引,复制和负载均衡查询,自动化的故障转移和恢复,集中管理等。Solr强化了很多世界上最大网站的搜索和导航特性。

Solr是用Java开发的,在一个诸如Jettyservlet容器中以单机模式运行全文搜索服务。Solr使用LuceneJava搜索库作为全文索引和搜索的核心,通过使用REST-like HTTP/XML andJSON APIs,使得几乎任何编程语言都可以很容易的使用Solr。使用者可以通过基于HTTP协议的XML, JSON,CSV 或者二进制将文档放在Solr中(称为索引),使用HTTPGET方法查询并且收到XML,JSON, CSV 或者二进制结果。

根据官网的介绍,可以发现Solr提供了强大的关于索引的功能,并且几乎支持所有的编程语言,而不仅仅局限于JAVA。

现在开始将Nutch与Solr结合在一起。首先从官网下载Solr版本4.5.1版本,地址为http://lucene.apache.org/solr/,然后将下载的solr-4.5.1.tgz解压到相应的目录中,该目录在稍后将使用${SOLR_HOME}引用。进入${APACHE_SOLR_HOME}/example,执行java-jar start.jar,等到solr启动完毕后,在浏览器中输入http://localhost:8983/solr/#/,进入如下图片所示的页面:

在该页面中可以发现solr的版本信息、系统信息、JVM信息等。点击左侧导航栏中的下拉选择框,选择collection1,进入下图所示的页面。在该页面中又出现了一些链接,可以点击进行相应的操作,比如进行查询。

在简单介绍了Solr的启动以及页面后,现在来看看如何修改Solr的配置文件使得Nutch爬取的网页可以被Solr索引查询。首先备份${SOLR_HOME}/example/solr/conf/schema.xm文件,然后将Nutch目录中conf目录下的schema-solr4.xml复制到${SOLR_HOME}/example/solr/conf/中,并且重命名为schema.xm,若不修改则在启动Solr会报找不到schema.xm的错误而无法启动Solr。做完这些修改后运行java -jar start.jar 重新启动Solr,然后运行bin/crawl urls sina http://localhost: 8983/solr 2进行网页的爬取并在Solr上建立索引。在控制台中可以发现,当进行dedup作业时出现问题,该作业用于删除多余的副本确保被索引的urls的唯一性。如果有人也曾遇到过类似的问题,并成功的解决了,还请多多指教。该问题是在建立索引完成之后出现的,不会特别严重的影响查看索引结果,暂时略过,后续找到解决办法再更新文章。

SOLR dedup -> http://localhost:8983/solr
/home/hadoop/nutch-2.2.1/runtime/deploy/conf:/usr/java/jdk1.6.0_32/lib/tools.jar
13/12/20 20:23:28 INFO solr.SolrDeleteDuplicates: SolrDeleteDuplicates: starting...
13/12/20 20:23:28 INFO solr.SolrDeleteDuplicates: SolrDeleteDuplicates: Solr url: http://localhost:8983/solr
13/12/20 20:23:37 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/12/20 20:23:47 INFO mapred.JobClient: Running job: job_201312201956_0007
13/12/20 20:23:48 INFO mapred.JobClient:  map 0% reduce 0%
13/12/20 20:24:22 INFO mapred.JobClient: Task Id : attempt_201312201956_0007_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.nutch.indexer.solr.SolrDeleteDuplicates$SolrInputFormat
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:857)
	at org.apache.hadoop.mapreduce.JobContext.getInputFormatClass(JobContext.java:187)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:722)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
	at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: org.apache.nutch.indexer.solr.SolrDeleteDuplicates$SolrInputFormat
	at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:247)
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:810)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:855)
	... 8 more

作业完成后进入Solr的管理页面,现在可以查询已经爬取到的网页了。在上图中点击query链接,出现下图所示的页面,在该页面中不做任何修改,点击下方的查询按钮,以JSON方式显示索引的内容。

可以修改q中的参数查询包含特定内容的网页,也可以选择wt中的选项定制以JSON、XML、CSV等格式显示网页内容,是可以在fl中以逗号分隔的方式定制需要显示哪些字段。在q中设置title:hadoop查询title中包含hadoop的网页,执行结果如下图所示:

上面只介绍了Solr的相当简单的一部分功能,更多更强大的功能还需要进一步学习探索,并且solrdedup作业失败的问题也需要继续研究其根源并解决。

补充,solrdedup失败的解决办法可以通过在SolrDeleteDuplicates中的Job job = new Job(getConf(), "solrdedup");后添加下面的代码解决:

job.setJarByClass(SolrDeleteDuplicates.class);

lucene、solr、nutch三者的关系

lucene是一个做搜索用的类库。 nutch和solr都是基于lucene的,二者都是可直接运行的应用程序; 直接在业务上使用lucene的倒是不太多见。   solr主要提供了建立索引(用户可以直...
  • matthewei6
  • matthewei6
  • 2016年01月30日 11:24
  • 3713

nutch和solr配置实用

1.1nutch和solr Nutch是一个开源的、Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 Solr拥有像 web-services API的独立的企业级搜索服务...
  • WitsMakeMen
  • WitsMakeMen
  • 2012年12月04日 16:07
  • 14586

Nutch 2.2.1+MySQL+Solr4.2实现网站内容的抓取和索引

在local目录下创建 search。把apache-nutch-2.2.1-src.tar.gz 上传到search 目录中 解压,然后再数据库中执行以下sql。 手动创建数据库nutch和数据表w...
  • qq_30353203
  • qq_30353203
  • 2017年08月22日 15:57
  • 265

Solr4.10.2集成Nutch1.9与自带UI界面使用

一、Solr4.10.2与Nutch1.9集成 将NUTCH_DIR/conf/schema-solr4.xml拷贝到SOLR_HOME/collection1/conf/,重命名为schema.xm...
  • u011526340
  • u011526340
  • 2015年01月17日 10:51
  • 1709

Nutch + Solr + Hadoop 搭建分布式搜索引擎详细教程

Nutch + Solr + Hadoop 搭建分布式搜索引擎详细文档 经过几天的摸索,终于完全成功地把环境搭建好了,这个过程遇到各种问题,并且目前网上没有一个完全可行的详细环境搭建教程,所以这里专门...
  • u012308776
  • u012308776
  • 2014年12月27日 16:26
  • 1936

Nutch+solr + hadoop相关框架搭建教程

  • 2013年04月17日 16:05
  • 54KB
  • 下载

Nutch和Solr的集成方案

本方案中,Solr作为处理搜索结果的源和入口,有效的减轻对Nutch的搜索负担,让Nutch负责她最擅长的工作:抓取(crawling)和提取(extracting)内容。使用Solr作为搜索后端,换...
  • SOUICHIRO
  • SOUICHIRO
  • 2010年06月24日 19:22
  • 8078

转:使用Nutch和Solr抓取并索引网页

Nutch和Solr是两个由Apache成员创建的实用工具,你可以使用Nutch抓取网页,使用Solr索引你得到的数据。 除了索引各类网站,这些工具还有很多其他功能,本文将不涉及这些,而是一篇针对如...
  • u012110719
  • u012110719
  • 2015年08月11日 17:27
  • 1469

hadoop2.7.1+nutch2.3+mongodb+solr5.2.1的单机配置

hadoop2.7.1+nutch2.3+mongodb+solr5.2.1的单机配置
  • feihuadao
  • feihuadao
  • 2015年08月18日 12:47
  • 2762

Nutch-2.2.1学习之六以伪分布模式运行Nutch

之前运行使用Nutch都是在本地模式下,也就是执行runtime/local/bin目录下的脚本命令。本地模式主要用来熟悉Nutch的一些基本命令和调试,要想真正的使用Nutch并且发挥Nutch并行...
  • sky_walker85
  • sky_walker85
  • 2013年12月14日 17:47
  • 5342
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Nutch-2.2.1学习之七Nutch与Solr的集成
举报原因:
原因补充:

(最多只允许输入30个字)