InjectorJob 类主要是从文件中读取URL,对URL进行处理后,写入到webpage表中。
UrlMapper 类
setup 方法设置 爬虫抓取的时间周期,是一个月;
map 方法将URL 注册到表中;
Map<String,Object> run(Map<String,Object> args) 启动函数
// mapper方法,从文件中解析出url,写入数据库
currentJob.setMapperClass(UrlMapper.class);
currentJob.setMapOutputKeyClass(String.class);
// map 的输出为WebPage,它是用Gora compile生成的,可以通过Gora把它映射到不同的数据库中,
currentJob.setMapOutputValueClass(WebPage.class);
// 输出到GoraOutputFormat
currentJob.setOutputFormatClass(GoraOutputFormat.class);