1. 背景
在之前一个文档中(http://leeqianjun.iteye.com/admin/blogs/263868)描述了怎么通过WEB-Harvest进行精确提取所需的网页信息的方法,并抓取的信息存储到文件中。
但是我们实际的运用中,我们并不需要通过中间文件的中转,希望直接把抓取的信息存储到DB中或者进行业务处理,那怎么做呢?
2.具体做法
实际上比较简单,Web-Harvest提供了一个 ScraperContext , 可以在该上下文中设置Java对象,可以通过Java对象收集相应的结果数据,(比如:设置Map,可以通过Map收集数据)
Scraper 提供了这样的方法:
scraper.getContext().put("startPageHref", “http://www.baidu.com/s?cl=3&wd=儿童玩具");
比如我们在上下文中:
scraper.getContext().put("resDataSet", new ResultDataSet());
在相应的配置文件中就可以通过
${resDataSet.addRecord("searchResult","totalSearchResult",totalSearchResult)};
方式来调用注入的变量。
当爬虫执行完毕后,可以通过下面的代码返回收集的信息:
ResultDataSet resultDataSet = (ResultDataSet)scraper.getContext().get("resDataSet");
即可以利用里面的数据信息。
附件为一个提取百度的搜索结果的例子。