基于Web-Harvest抓取百度的搜索结果（二）

1. 背景

    在之前一个文档中（http://leeqianjun.iteye.com/admin/blogs/263868）描述了怎么通过WEB-Harvest进行精确提取所需的网页信息的方法，并抓取的信息存储到文件中。

   但是我们实际的运用中，我们并不需要通过中间文件的中转，希望直接把抓取的信息存储到DB中或者进行业务处理，那怎么做呢？

2.具体做法

   实际上比较简单，Web-Harvest提供了一个 ScraperContext , 可以在该上下文中设置Java对象，可以通过Java对象收集相应的结果数据，（比如：设置Map,可以通过Map收集数据）

   Scraper 提供了这样的方法：

 

scraper.getContext().put("startPageHref", “http://www.baidu.com/s?cl=3&wd=儿童玩具");

 

   比如我们在上下文中：

   

scraper.getContext().put("resDataSet", new ResultDataSet());

 

   在相应的配置文件中就可以通过

  

${resDataSet.addRecord("searchResult","totalSearchResult",totalSearchResult)};

 

   方式来调用注入的变量。

 

  

   当爬虫执行完毕后，可以通过下面的代码返回收集的信息：

  

  

ResultDataSet resultDataSet = (ResultDataSet)scraper.getContext().get("resDataSet");

 

    即可以利用里面的数据信息。

 

   附件为一个提取百度的搜索结果的例子。