为什么要用python做爬虫

可以做爬虫的语言很多, 如php, java, c/c++, python等等…

• php 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程, 异步高并发的支持并不是很好，爬虫是工具性程序，对速度和效率要求比较高

• java 的爬虫生态圈也很完善，是python爬虫最大的对手。但java重构成本比较高，任何修改都会导致代码大量变动，爬虫经常需要修改部分代码，而python只需要修改部分模块即可，维护效率较java比更高

• c/c++ 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢，能用c/c++做爬虫，只能说是能力的表现，但是不是正确的选择。

• python 语法优美、代码简介、开发效率高、支持的模块多，相关的http请求模块和html解析模块非常丰富，还有强大的爬虫框架scrapy，以及成熟高效的scrapy-redis分布式策略。而且调用其他接口也非常方便(胶水语言)