windows环境下在python2.7下安装Scrapy

本文详细介绍了在Windows上使用Python2.7安装Scrapy爬虫框架的步骤,包括安装lxml、setuptools、zope.interface、Twisted、pyOpenSSL和win32py等依赖库,以及解决Microsoft Visual C++ 9.0 is required的错误。通过这些步骤,读者可以成功搭建Scrapy环境并进行爬虫项目开发。
摘要由CSDN通过智能技术生成

     大数据越来越火,可是海量的数据很难轻易拿到,于是爬虫来了,早先人们用Java,c++语言进行数据的获取,可是后来Python的诞生与发展,由于其代码简洁易懂,并且有大量完美的库函数,使其在最近几年很火。

    获取网站的数据的代码很多,并且也有很多框架,今天来说一说scrapy框架,它是人们获取海量数据一个很好的框架。scrapy = search + python;下面就来说一说scrapy框架的安装。

     安装scrapy需要用到很多的库,看了很多参看现总结如下:

    前提:电脑要安装好python2.7版本(一般建议为安装32位2.7版本,因为其兼容性比较好),前面博客有参考教你怎么安装。

    1:安装lxml( lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML):

[python]  view plain   copy
  1. python2 -m pip install lxml  

   2:安装setuptools(setuptools是Python distutils增强版的集合,它可以帮助我们更简单的创建和分发Python包,尤其是拥有依赖关系的。):

[python] 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值