Python 安装爬虫框架 scrapy 失败的解决办法

最新推荐文章于 2024-04-08 12:25:09 发布
最新推荐文章于 2024-04-08 12:25:09 发布
阅读量593 收藏
点赞数 1
分类专栏： Python 学习笔记 爬虫 Scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lonesome_zxq/article/details/85038541
版权
当使用pip安装Scrapy时遇到Microsoft Visual C++ 14.0缺失的错误，可以通过从第三方网站下载对应Python版本的Twisted库whl文件，将其拷贝到pip目录并使用pip安装，随后成功安装Scrapy。
摘要由CSDN通过智能技术生成

背景

在控制台中用pip 安装 scrapy 时失败。报“Microsoft Viusal C++ 14.0 is required. Get it……”

  • 安装命令
    在这里插入图片描述
  • 报错为：
    在这里插入图片描述

事实上错误中提到的文件已经有了：
在这里插入图片描述

解决办法

  1. 去这个网站
    https://www.lfd.uci.edu/~gohlke/pythonlibs/

  2. 下载这个文件：Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl（按照对应的版本来下，36即代表python 3.6版本）
    在这里插入图片描述

  3. 然后将文件拷贝到运行pip的目录

最低0.47元/天 解锁文章
lonesome_zxq
关注
专栏目录
安装Scrapy失败？一分钟教你解决！（win10 + Python3.6（64bit）下）
律己且好学，才能保证不坠入愤世嫉俗之列。
04-03 6092
爬虫怎能不用scrapy呢？既然要用就得安装吧，安装出错？？？小意思，且往下看安装方法简单粗暴：首先，在win10的命令行进入到python3.6的安装目录下，然后pip install scrapy，它就会自动获取scrapy的安装包进行安装，然后会报错： error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft V...
Python爬虫之scrapy框架介绍
m0_59485658的博客
11-28 1277
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
python在Windows下scrapy爬虫框架安装失败解决方法
jayvee's Blog
12-18 558
在Windows下直接pip install scrapy 报错：安装失败 解决方法： 找安装scrapy依赖的包，twisted，https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 找到自己对应Python版本的包（我的是Python3.7），然后在命令行下直接pip install 刚刚下载包所在的路径的包，如我的是放在e盘，pip insta...
安装scrapy报错，解决办法
zhangxuzzu的博客
06-08 2101
python版本在3.7以下的进入官网下载https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ ，找到对应的安装文件，该文件为.exe结尾的文件，按安装步骤安装。进入官网：https://pypi.org/project/pyOpenSSL/#files ,找到 pyOpenSSL-18.0.0-py2.py3-none-any.whl ，点击下载。到对应的安装文件，该文件为.exe结尾的文件，按安装步骤安装。
【Scrapy】Scrapy框架安装错误
gz-郭小敏的博客
04-02 306
问题描述： win10, python3.7,64位 在windows下，在dos中运行pip install Scrapy报错 解决方案： 1.打开https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 2.然后下载 Twisted‑19.2.1‑cp37‑cp37m‑win_amd64.whl （cp后面是python版本，a...
scrapy库安装失败的解决办法
最新发布
2401_84003941的博客
04-08 332
需要注意的是我们安装的这些库，都是通过wheel来安装的。打开控制台窗口，输入pip install wheel，先安装wheel库。所以我们需要换另一种形式来安装，我们先将scrapy安装过程中所用到的依赖的库安装完成之后，在安装scrapy，这样子便可以安装成功了。安装这些库的时候，得注意下载的.whl文件的版本号，需要和自身的python的版本号对应。安装scrapy的时候，使用pip install scrapy一般会失败。我的python的版本3.5 64位，则选择下载的.whl的版本为。
开源python网络爬虫框架Scrapy.pdf
07-01
Scrapy 是一个强大的 Python 网络爬虫框架，它为开发者提供了构建高效、可扩展的网络爬虫所需的各种工具和组件。Scrapy 架构设计巧妙，利用 Twisted 异步网络库来处理网络通信，确保爬虫在处理大量网页时能够保持...
详解Python的爬虫框架 Scrapy
12-17
Scrapy是一个基于Python的高效爬虫框架，设计用于快速地抓取、处理和储存大量网络数据。它提供了完整的框架，包括引擎、调度器、下载器、蜘蛛、项目管道、下载中间件和蜘蛛中间件等核心组件，使得开发者可以专注于...
python爬虫框架scrapy实现模拟登录操作示例
12-23
Python爬虫框架Scrapy在处理需要登录的网站时扮演着重要的角色。Scrapy是一个功能强大的爬虫框架，它提供了一套完整的解决方案，包括网络请求、数据解析、中间件处理等功能，使得开发者能够方便地实现模拟登录操作。...
实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
09-21
通过本文的介绍，读者应能掌握使用Python爬虫框架Scrapy抓取豆瓣电影TOP250的基本流程。从环境搭建到项目构建，再到爬虫编写，每个步骤都详细解释了所需的操作。这不仅有助于学习Scrapy框架的使用，还能加深对网络...
python安装scrapy报错
gznc_pcc的博客
05-22 1041
报错信息： running build_ext building 'twisted.test.raiser' extension error: Unable to find vcvarsall.bat 解决方法： 报错是因为缺少编译环境相关的插件，我们需要先安装Twisted 点这里下载 下载完成后找到下载的路径，在cmd中输入pip install 路径+文件名 我这里的是：`C...
Python安装scrapy失败解决方法
wangshu_liang的博客
10-29 1475
环境：win10+Python3.7 使用 python -m pip install scrapy 命令安装scrapy显示错误如下：   error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.c...
Scrapy框架安装失败解决办法
weixin_30549657的博客
07-31 888
安装报错信息 正常安装: pip3 install scrapy 出现报错信息如下: 两种解决办法 第一种方法 最根本得解决办法 需要我们安装Microsoft Visual C++ 14.0 【安装时间较长大约在一个半小时左右】 官网:https://support.microsoft.com/zh-cn/help/2977003/the-latest-...
python爬虫安装错误与解决方式
Jibert的博客
08-11 366
# 安装错误： error:Microsoft Visual C++ 14.0 is required... 下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  pip install xxx.whl   # 运行错误 1： from .. Import etree ImportError:DLL load failed  ...
Scrapy框架安装遇到的错误
wxm_1007的博客
05-18 255
Scrapy框架安装 首先确保电脑上安装好了python,此处我安装的是python3.7.3 cmd打开命令行输入python可查看自己电脑上安装的python版本 安装Scrapy 可查看官方文档安装https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html#intro-install 输入命令行pip install Scr...
爬虫scrapy包安装失败 可能因为少个twisted 模块
weixin_42953830的博客
08-23 370
twisted 模块下载链 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
安装爬虫的scrapy框架不成功后的解决办法
qq_40637475的博客
04-12 698
scrapy安装不成功后的解决办法
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值