webMagic+RabbitMQ+ES爬取京东建材数据
webMagic+RabbitMQ+ES爬取京东建材数据本次爬虫所要爬取的数据为京东建材数据,在爬取京东的过程中,发现京东并没有做反爬虫动作,所以爬取的过程还是比较顺利的。为什么要用WebMagic:WebMagic作为一款轻量级的Java爬虫框架,可以极大的减少爬虫的开发时间为什么要使用MQ(本项目用的RabbitMq,其他的MQ也可以):解耦各个模块,实现各个爬虫之间相互独立...
转载
2019-06-06 11:54:18 ·
461 阅读 ·
0 评论