爬虫方法对比

最近在学习Python抓取数据，之前发了几篇爬虫小白的文章，了解了不同的方法进行数据的爬取。

（1）Python+Selenium+ChromeDriver

（2）Requests库

（3）Scrapy框架

当然可以组合使用，使用scrapy中集成selenium爬虫使用，以及selenium+requests进行数据爬取，视个人需求而定。

在博客上看到了将一个requests库和scrapy框架比较的总结，分享给大家。

Requests是一个功能十分强大的库，它能够满足大部分网页数据获取的需求。其工作原理是向服务器发送数据请求，至于数据的下载和解析，都需要自己处理，因而灵活性高；而由于scrapy框架的封装，使得灵活性降低。在没有明确需求之前，可以先选择requests库请求网页数据，而在业务实战中产生实际需求时，再考虑Scrapy框架。

Selenium是Web自动化测试工具集，最初是为了网站自动化测试开发的，Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Sa