- 博客(1)
- 资源 (1)
- 收藏
- 关注
原创 淘宝、天猫爬虫感悟
前期,使用phantomjs模拟爬取,这种方法需要解析浏览器,效率上慢,无法实现高效稳定。 中期,使用scrapy+phantomjs,因为scrapy支持异步传输,效率上有所改善。 后期,直接分析天猫API数据接口,效率大大提高! 爬虫不易,小心掉坑!
2017-05-17 16:44:39
1994
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人