复杂爬虫编写心得

1. 信息收集和网站地图绘制比编程更重要。

2. 浏览器访问效率的最大值是爬虫效率的最低值。

3. 永远不要使用selenium，尽量不要使用phantomjs

4. 对于脾气暴躁、技术能力强的网站，要让爬虫变的友善

5. 复杂爬虫不宜过度优化，越冗余，维护成本越低。

6. 尽量使用api和手机端接口。