关闭

Nutch抓取数据分析

728人阅读 评论(0) 收藏 举报
 684人阅读 评论(0) 收藏 举报

由于刚开始理解错误,以为搜索索引可以作为数据挖掘的输入信息,后面才发现错了,由solr/nutch/lucene形成的只是搜索索引,只要由用户提供查询关键字,然后就可以查到该关键字来自哪一篇文档,并不是一篇文档的文字列表信息,而挖掘是需要有整篇文档的文字列表(档中所有单词的集合),才能挖出其中的关联信息。

详细看了一下Nutch抓取数据后的文件:

Nutch的输出文件主要可分为crawldb、index、indexs、linkdb和segments。

Crawldb是所有需要抓取的超连接信息

(另说:存放下载的URL,及下载的日期,用来页面更新检查时间)

Linkdb中存放的是所有超连接及其每个连接的连入地址锚文本

segments : 一存放抓取的页面,与上面链接深度 depth 相关, depth 设为 2 则在 segments 下生成两个以时间命名的子文件夹,比如 "20110718114601"。Segments是每轮抓取的时候根据crawldb生成的。存放的信息包括6种content、crawl_fetch、crawl_generate、crawl_parse、parse_data、parse_text。其中content是抓取下来的网页内容crawl_generate最初生成(待下载URL集合);crawl_fetch(每个下载URL的状态)、content在抓取时生成;crawl_parse(包含用来更新crawldb的外链)、parse_data、parse_text在解析抓取的数据文件时生成。其中crawl_generate、crawl_fetch和crawl_parse是crawldb的部分url数据,它们格式一样,不同的是抓取时间、状态、签名等有所变化。

indexs:存放每次下载的独立索引目录,这个可以由Crawldb,Linkdb和segments来合成:bin/nutch index crawl/indexs crawl/crawldb crawl/linkdb crawl/segments/*

index:由indexs合并而来的,存放的是索引信息。(nutch的索引中没有存储内容,内容存在segments中,所以直接用lucene读取nutch生成的索引会有问题。Lucene 中的segment和Nutch中的不同,Lucene中的segment是索引index的一部分,但是Nutch中的segment只是WebDB中 各个部分网页的内容和索引,最后通过其生成的index跟这些segment已经毫无关系了。)

因为挖掘用到的不是索引文件,而是文档的解析单词列表,所以我们关注nutch是怎么解析网页的。一般网络爬虫抓取网页时会解析网页内容并将内容下载到本地保存,若能解析网页,自然解析pdf文档也不会有问题,nutch对富文本的解析是以插件的形式,所以只需要配置文件中加上该选项便可。关键问题是,如何去提取这些已经解析出来的文本呢?由于segments下的所有文件都是二进制文件,不知道如何转成我们可视的文本字符,nutch提供了命令来导出抓取数据以便查看,如为了得到linkdb中的内容,我们可

使用bin/nutch readlinkdb crawl/linkdb/ -dump linkdb(导出的地址),然后就会看到linkdb文件夹下有个part-00000,然后就可以以文本方式打开。关键是我们想得到的是parse_data和parse_text,而segments数据的导出是一个整体,bin/nutch readseg -dump crawl/segments/20110718114601segdb 导出segments,其中crawl/segments/20110718114601为一个segments文件夹,segdb为存放转换后的内容的文件夹,这样查看时,包括了segments文件夹下所有文件的信息,在网上找了半天,没找到可以直接操作parse文件的命令,有知道的大侠,还烦请转告!或者怎么用这个解析文件信息,有用过的,也请留言赐教!

在readseg命令后,加可选参数命令,-nocontent,这样就不会导出content,-noparsedata,这样就不会导出parse_data,有这样的命令后,便可只导出parse_text,即经过解析的文本,如网页content,即包含里面的标签元素,而parse_text,则是去除网页格式的文本信息

 

参考资料:

1.http://wenku.baidu.com/view/c6fd2f4c2e3f5727a5e962ce.html

2.http://blog.csdn.net/forwen/article/details/4804733

3.http://blog.163.com/bit_runner/blog/static/53242218201141393943980/

4.http://www.cnblogs.com/kwklover/articles/445928.html

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:424888次
    • 积分:5543
    • 等级:
    • 排名:第4753名
    • 原创:54篇
    • 转载:549篇
    • 译文:1篇
    • 评论:23条
    最新评论