Apache Nutch 1.3 学习笔记一

转自：http://www.cnblogs.com/ibook360/archive/2011/10/22/2221461.html

1. Nutch是什么?

Nutch是一个开源的网页抓取工具，主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行查询的一套工具。其底层使用了Hadoop来做分布式计算与存储，索引使用了Solr分布式索引框架来做，Solr是一个开源的全文索引框架，从Nutch 1.3开始，其集成了这个索引架构

2. 在哪里要可以下载到最新的Nutch?

在下面地址中可以下载到最新的Nutch 1.3二进制包和源代码
http://mirror.bjtu.edu.cn/apache//nutch/

3. 如何配置Nutch?

   3.1 对下载后的压缩包进行解压，然后cd $HOME/nutch-1.3/runtime/local

   3.2 配置bin/nutch这个文件的权限，使用chmod +x bin/nutch 

   3.3 配置JAVA_HOME，使用export JAVA_HOME=$PATH

4. 抓取前要做什么准备工作?

4.1 配置http.agent.name这个属性，如下

 

1. <pre name="code" class="html"><property>  
2.     <name>http.agent.name</name>  
3.     <value>My Nutch Spider</value>  
4. </property>  

 

 

4.2 建立一个地址目录,mkdir -p urls

   在这个目录中建立一个url文件，写上一些url，如

 

1. http://nutch.apache.org/  

 

4.3 然后运行如下命令

 

1. bin/nutch crawl urls -dir crawl -depth 3 -topN 5  

注意，这里是不带索引的，如果要对抓取的数据建立索引，运行如下命令

 

1. bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5  

5. Nutch的抓取流程是什么样子的？

5.1 初始化crawlDb，注入初始url

 

1. <pre name="code" class="html">bin/nutch inject   
2. Usage: Injector <crawldb> <url_dir>  

 

在我本地运行这个命令后的输出结果如下：

 

1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch inject db/crawldb urls/  
2.         Injector: starting at 2011-08-22 10:50:01  
3.         Injector: crawlDb: db/crawldb  
4.         Injector: urlDir: urls  
5.         Injector: Converting injected urls to crawl db entries.  
6.         Injector: Merging injected urls into crawl db.  
7.         Injector: finished at 2011-08-22 10:50:05, elapsed: 00:00:03  

5.2 产生新的抓取urls

 

1. bin/nutch generate  
2. Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]  

本机输出结果如下：

 

1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch generate db/crawldb/ db/segments  
2.         Generator: starting at 2011-08-22 10:52:41  
3.         Generator: Selecting best-scoring urls due for fetch.  
4.         Generator: filtering: true  
5.         Generator: normalizing: true  
6.         Generator: jobtracker is 'local', generating exactly one partition.  
7.         Generator: Partitioning selected urls for politeness.  
8.         Generator: segment: db/segments/20110822105243   // 这里会产生一个新的segment  
9.         Generator: finished at 2011-08-22 10:52:44, elapsed: 00:00:03  

5.3 对上面产生的url进行抓取

 

1. bin/nutch fetch  
2. Usage: Fetcher <segment> [-threads n] [-noParsing]  

这里是本地的输出结果：

 

1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch fetch db/segments/20110822105243/  
2.         Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.  
3.         Fetcher: starting at 2011-08-22 10:56:07  
4.         Fetcher: segment: db/segments/20110822105243  
5.         Fetcher: threads: 10  
6.         QueueFeeder finished: total 1 records + hit by time limit :0  
7.         fetching http://www.baidu.com/  
8.         -finishing thread FetcherThread, activeThreads=1  
9.         -finishing thread FetcherThread, activeThreads=  
10.         -finishing thread FetcherThread, activeThreads=1  
11.         -finishing thread FetcherThread, activeThreads=1  
12.         -finishing thread FetcherThread, activeThreads=0  
13.         -activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0  
14.         -activeThreads=0  
15.         Fetcher: finished at 2011-08-22 10:56:09, elapsed: 00:00:02  

我们来看一下这里的segment目录结构

 

1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
2. content  crawl_fetch  crawl_generate  

5.4 对上面的结果进行解析

 

1. <pre name="code" class="html">bin/nutch parse  
2. Usage: ParseSegment segment  

 

本机输出结果：

 

1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch parse db/segments/20110822105243/  
2. ParseSegment: starting at 2011-08-22 10:58:19  
3. ParseSegment: segment: db/segments/20110822105243  
4. ParseSegment: finished at 2011-08-22 10:58:22, elapsed: 00:00:02  

 

我们再来看一下解析后的目录结构

 

1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
2. content  crawl_fetch  crawl_generate  crawl_parse  parse_data  parse_text  

 

这里多了三个解析后的目录。

 

5.5 更新外链接数据库

 

1. bin/nutch updatedb  
2. Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]  

本机输出结果：

 

1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch updatedb db/crawldb/ -dir db/segments/  
2. CrawlDb update: starting at 2011-08-22 11:00:09  
3. CrawlDb update: db: db/crawldb  
4. CrawlDb update: segments: [file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243]  
5. CrawlDb update: additions allowed: true  
6. CrawlDb update: URL normalizing: false  
7. CrawlDb update: URL filtering: false  
8. CrawlDb update: Merging segment data into db.  
9. CrawlDb update: finished at 2011-08-22 11:00:10, elapsed: 00:00:01  

 

这时它会更新crawldb链接库，这里是放在文件系统中的，像taobao抓取程序的链接库是用redis来做的，一种key-value形式的NoSql数据库。

5.6 计算反向链接

 

1. <pre name="code" class="html">bin/nutch invertlinks  
2. Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]  

 

本地输出结果：

 

1. <pre name="code" class="html">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch invertlinks db/linkdb -dir db/segments/  
2. LinkDb: starting at 2011-08-22 11:02:49  
3. LinkDb: linkdb: db/linkdb  
4. LinkDb: URL normalize: true  
5. LinkDb: URL filter: true  
6. LinkDb: adding segment: file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243  
7. LinkDb: finished at 2011-08-22 11:02:50, elapsed: 00:00:01  

 

5.7 使用Solr为抓取的内容建立索引

 

1. bin/nutch solrindex  
2. Usage: SolrIndexer <solr url> <crawldb> <linkdb> (<segment> ... | -dir <segments>  

Nutch端的输出如下：

 

1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch solrindex http://127.0.0.1:8983/solr/ db/crawldb/ db/linkdb/ db/segments/*  

 

1. SolrIndexer: starting at 2011-08-22 11:05:33  

 

1. SolrIndexer: finished at 2011-08-22 11:05:35, elapsed: 00:00:02  

Solr端的部分输出如下：

 

1. INFO: SolrDeletionPolicy.onInit: commits:num=1  
2.        commit{dir=/home/lemo/Workspace/java/Apache/Solr/apache-solr-3.3.0/example/solr/data/index,segFN=segments_1,version=1314024228223,generation=1,filenames=[segments_1]  
3. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrDeletionPolicy updateCommits  
4. INFO: newest commit = 1314024228223  
5. Aug 22, 2011 11:05:35 AM org.apache.solr.update.processor.LogUpdateProcessor finish  
6. INFO: {add=[http://www.baidu.com/]} 0 183  
7. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrCore execute  
8. INFO: [] webapp=/solr path=/update params={wt=javabin&version=2} status=0 QTime=183  
9. Aug 22, 2011 11:05:35 AM org.apache.solr.update.DirectUpdateHandler2 commit  
10. INFO: start commit(optimize=false,waitFlush=true,waitSearcher=true,expungeDeletes=false)  

5.8 在Solr的客户端查询
在浏览器中输入 

 

1. http://localhost:8983/solr/admin/  

查询条件为baidu

输出的XML结构为

如果你要以HTML结构显示把Solr的配置文件solrconfig.xml中的content改为如下就可以
<field name="content" type="text" stored="true" indexed="true"/>

 

1. </pre><blockquote style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 40px; border-top-style: none; border-right-style: none; border-bottom-style: none; border-left-style: none; border-width: initial; border-color: initial; padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; "><div><blockquote style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 40px; border-top-style: none; border-right-style: none; border-bottom-style: none; border-left-style: none; border-width: initial; border-color: initial; padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; "><div></div></blockquote></div></blockquote><p></p><span style="white-space:pre"></span><pre name="code" class="html">    <pre name="code" class="html"><response>  
2. <lst name="responseHeader">  
3. <int name="status">0</int>  
4. <int name="QTime">0</int>  
5. <lst name="params">  
6. <str name="indent">on</str>  
7. <str name="start">0</str>  
8. <str name="q">baidu</str>  
9. <str name="version">2.2</str>  
10. <str name="rows">10</str>  
11. </lst>  
12. </lst>  
13. <result name="response" numFound="1" start="0">  
14. <doc>  
15. <float name="boost">1.0660036</float>  
16. <str name="digest">7be5cfd6da4a058001300b21d7d96b0f</str>  
17. <str name="id">http://www.baidu.com/</str>  
18. <str name="segment">20110822105243</str>  
19. <str name="title">百度一下，你就知道</str>  
20. <date name="tstamp">2011-08-22T14:56:09.194Z</date>  
21. <str name="url">http://www.baidu.com/</str>  
22. </doc>  
23. </result>  
24. </response>  

 

 

1. <pre name="code" class="html"><blockquote style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 40px; border-top-style: none; border-right-style: none; border-bottom-style: none; border-left-style: none; border-width: initial; border-color: initial; padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; "><pre name="code" class="html">  

6 参考

http://wiki.apache.org/nutch/RunningNutchAndSolr