webhavest+nutch1.2抓数据，建索引流程

crawldb目录下面存放下载的URL,以及下载的日期，用来页面更新检查时间

linkdb目录存放URL的关联关系，是下载完成后分析时创建的

segments目录存储抓取的页面，下面子目录的个数与获取页面的层数有关系
    里面有6个子目录
    content,下载页面的内容
    crawl_fetch,下载URL的状态内容
    crawl_generate,待下载的URL的集合，在generate任务生成时和下载过程中持续分析出来
    crawl_parse,存放用来更新crawldb的外部链接库
    parse_data,存放每个URL解析出来的外部链接和元数据
    parse_text,存放每个解析过的URL的文本内容

 

 

crawl   使用webhavest 爬取数据

 

//伪代码

//循环crawl/au、crawl/hk、crawl/cn、crawl/hk、之类的地区文件
//列如crawl/hk
for(){
   
    获得/crawl/hk/crawl/website.**  以website开头的文件个数，从中获得爬取URL及深度
   
    加载hadoop文件系统中的配置文件nutch-default.xml之类的配置文件
   
    删除上次建索引时创建的文件crawl/hk/crawleroutput   
                crawl/hk/linkcrawleroutput   
                crawl/hk/classifieroutput   
                crawl/hk/dbwriteroutput
   
    加载本地工程目录中/crawl/hk/conf、
            /crawl/hk/crawl、
            /crawl/hk/frontpage、
            /crawl/hk/linkpage 复制到本地tmp文件下
   
    爬取frontpage   
        传入webhavest爬取解析数据的xml文件位置    
        产生crawl/hk/crawleroutput     内有根据URL及XML配置过滤出来的有效数据
   
    爬取linkpage
        传入crawl/hk/crawleroutput
        产生crawl/hk/linkcrawleroutput    内有详细页面的有效数据   
   
    JobClassifier   
        传入linkcrawleroutput   
        把其中的数据通过/crawl/hk/conf中的XML解析成代号，  如location通过location.xml解析成地点编号
        产生classifieroutput
   
   
    ****以上步骤中，将本地工程目录中的crawl/下的各个地区的配置文件复制到hadoop文件系统中，本地tmp文件中   
    ****在每个地区文件目录下产生了    crawleroutput
                    linkcrawleroutput       
                    classifieroutput
   
   
    ****进入sh命令步骤
   
    //第二步
    先删除joburlwriteroutput
    传入(user/hadoop/crawl/hk/classifieroutput,/user/hadoop/joburlwriteroutput)
    通过URLwrite类(就是把classfileroutput中的数据取出，再以键值对的形式保存到)   
    产生/user/hadoop/joburlwriteroutput
       
   
    //第三步
    传入(joburlwriteroutput,/user/hadoop/crawl.demo/crawldb)
    通过Injector类把数据注入到/user/hadoop/crawl.demo/crawldb文件中
    产生/user/hadoop/crawl.demo/crawldb
   
   
    //第四步
    传入(/user/hadoop/crawl.demo/crawldb,/user/hadoop/crawl.demo/segments)
    通过Generator类(产生segments)
    产生/user/hadoop/crawl.demo/segments
   
    获取segments下最新的文件
    通过Fetcher类
    ****在fetcher这步时很耗时间
   
    //在把segments下最新的文件
    //通过CrawlDb类(nutch会自动通过segments更新一些数据，因为数据已经通过webhavest拿到，所以不需要这步操作)
   
   
    //第五步
    传入(/MERGEDsegments,-dir,/segments)
    通过SegmentMerger类  把segments目录下的多个 合并到 MERGEDsegments
    产生MERGEDsegments
   
    然后把segments目录下的文件删除
    把产生的MERGEDsegments改名为segments
   

    //第六步
    传入(/linkdb,crawl.demo/segment/*)
    通过LinkDb类
    产生linkdb
   

    //第七步
    先把/NEWindexes删除掉
    传入(/NEWindexes,/crawldb,/linkdb,/segment/*)
    通过Indexer类
    产生NEWindexes
   
   
    //第八步
    传入(/NEWindexes)
    通过DeleteDuplicates类
        //估计应该是nutch自带的去重复
   
   
    //第九步
    传入(/index,/NEWindexes)
    通过IndexMerger
    产生/index
   
    删除老的index
    把新的NEWindexes重命名index
        ****这里有点情况
            因为之前把SH命令改为JAVA代码的时候，产生索引的位置NEWindexes,老的索引文件index,合并之后的索引index(有可能被命名为indexs)
            总之这一步就是把老索引与新建索引合并，然后把合并之后的索引名改为index,其他的文件该删的删，改名的改
   
   
    更新机群的tomcat下的web.xml文件
   
}

//以上步骤，需要修改为多线程方式，

    按每个地区生成一个线程，从一到九步走完，每个地区每次生成一个该地区的新索引和segment
    再一个线程无限读取每个地区生成的新索引，只要生成完毕，就把新的索引合并到hadoop文件系统中的另外一个地方,用于索引

    而且整个流程都有很大的优化空间，预计想达到的效果为：要抓取的页面最新数据可以在3小时内爬取分析建索引