大数据越来越火,可是海量的数据很难轻易拿到,于是爬虫来了,早先人们用Java,c++语言进行数据的获取,可是后来Python的诞生与发展,由于其代码简洁易懂,并且有大量完美的库函数,使其在最近几年很火。
获取网站的数据的代码很多,并且也有很多框架,今天来说一说scrapy框架,它是人们获取海量数据一个很好的框架。scrapy = search + python;下面就来说一说scrapy框架的安装。
安装scrapy需要用到很多的库,看了很多参看现总结如下:
前提:电脑要安装好python2.7版本(一般建议为安装32位2.7版本,因为其兼容性比较好),前面博客有参考教你怎么安装。
1:安装lxml( lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML):
2:安装setuptools(setuptools是Python distutils增强版的集合,它可以帮助我们更简单的创建和分发Python包,尤其是拥有依赖关系的。):