前期,使用phantomjs模拟爬取,这种方法需要解析浏览器,效率上慢,无法实现高效稳定。
中期,使用scrapy+phantomjs,因为scrapy支持异步传输,效率上有所改善。
后期,直接分析天猫API数据接口,效率大大提高!
爬虫不易,小心掉坑!
前期,使用phantomjs模拟爬取,这种方法需要解析浏览器,效率上慢,无法实现高效稳定。
中期,使用scrapy+phantomjs,因为scrapy支持异步传输,效率上有所改善。
后期,直接分析天猫API数据接口,效率大大提高!
爬虫不易,小心掉坑!