用Webmagic和MongoDB实现的通用化爬虫框架
可忽略的小背景
我在第一家A公司的时候接触过通用化的爬虫框架,其中,下载,URL管理,启动爬虫任务,抽取都是自己团队实现的,一向喜欢开源和对比的我接触到了Webmagic,发现它只要实现一个PageProcessor,传递URL处理解析就可以了。
后来我在B公司从事亚马逊网站的爬虫工作,用Webmagic+Spring+MySQL+MyBatis+Redis实现的,其中用到了Spring的IOC,A
原创
2017-08-29 10:52:48 ·
1095 阅读 ·
2 评论