可以做爬虫的语言很多, 如php, java, c/c++, python等等…
-
php 虽然是世界上最好的语言,但是他天生不是干这个的,而且对多线程, 异步高并发的支持并不是很好,爬虫是工具性程序,对速度和效率要求比较高
-
java 的爬虫生态圈也很完善,是python爬虫最大的对手。但java重构成本比较高,任何修改都会导致代码大量变动,爬虫经常需要修改部分代码,而python只需要修改部分模块即可,维护效率较java比更高
-
c/c++ 运行效率和性能几乎最强,但是学习成本很高,代码成型比较慢,能用c/c++做爬虫,只能说是能力的表现,但是不是正确的选择。
-
python 语法优美、代码简介、开发效率高、支持的模块多,相关的http请求模块和html解析模块非常丰富,还有强大的爬虫框架scrapy,以及成熟高效的scrapy-redis分布式策略。而且调用其他接口也非常方便(胶水语言)