这里主要是我们使用过的开源爬虫技术:
1、webmagic
java技术、非定型爬虫框架
网站:http://webmagic.io/
github:https://github.com/code4craft/webmagic/
2、pyspider
python技术、定型爬虫框架
网站:http://docs.pyspider.org/en/latest/Quickstart/
github:https://github.com/binux/pyspider
这里主要是我们使用过的开源爬虫技术:
1、webmagic
java技术、非定型爬虫框架
网站:http://webmagic.io/
github:https://github.com/code4craft/webmagic/
2、pyspider
python技术、定型爬虫框架
网站:http://docs.pyspider.org/en/latest/Quickstart/
github:https://github.com/binux/pyspider