关于安装scrapy框架问题

Scrapy是一个基于Twisted的Python网络爬虫框架。本文介绍了在安装Scrapy时遇到的错误,强调了lxml、pyOpenSSL、Twisted和pywin32等依赖库的安装,并提供了通过手动下载wheel文件解决安装卡住问题的方法,包括不解压文件、指定路径安装等关键步骤。
摘要由CSDN通过智能技术生成

先简单了解一下scrapy框架:

  1. Scrapy是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架,底层是python语言写的框架。

  2. Scrapy一个开源和协作的框架,其最初是为了页面抓取(更确切来说,网络抓取)所设计的,使用它可以快速、简单、可扩展目前Scrapy的用途十分广泛,可用于如挖掘、监测和自动化测试等领域,也可以应用在API
    所返回的数据(例如Amazon Associates Web Services)或者通
    用的网络爬虫。


现在关于scrapy框架安装问题干货送你们,安装的时候顺利点

  1. 大多数用户 pip install scrapy 就会报错,而且是一连串红色字体的报错。

  2. scrapy安装的依赖库有 lxml、 pyOpenSSL 、 Twisted 、pywin32。注意的是我们安装的这些库,都是通过wheel来安装的。因此在安装这些库之前,先得安装wheel。打开控制台窗口,输入pip install wheel,先安装wheel库。

  3. pip install pyOpenSSL

  4. pip install lxml

  5. pip install pywin32

  6. 然后升级一下 pip版本: python -m pip install --upgrade pip

  7. 最后安装:pip install Twisted ,到这里有俩个大坑

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值