在python 3.8.1 上面安装scrapy（报错显示说没有相关twisted文件/scrapy安装失败）

最新推荐文章于 2024-08-05 23:13:57 发布
最新推荐文章于 2024-08-05 23:13:57 发布
阅读量900 收藏 4
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43738233/article/details/106588512
版权

1. ERROR: Command errored out with exit status 1:

在这里插入图片描述

2.主要原因就是因为你的python安装路径中的（Script文件）里面没有scrapy库依赖的twisted文件在这里插入图片描述

3.所以先下载这个.whl文件（官方地址下载很慢，这里提供一个下载地址）

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

发现每一个版本都有一个win32和win_amd64的文件；这里的32是32位，64同理；
【注意】这里的32位64位可不是你计算机的位数；是你python安装的版本的位数；看多少位在哪里？？如图<

最低0.47元/天 解锁文章
qq_43738233
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Windows python3下安装scrapy爬虫框架的完美方案
Kosmoo的博客
09-10 8224
Windows python3下安装scrapy爬虫框架的完美方案1. 背景 Scrapy依赖的库比较多，至少需要依赖库有Twisted，lxml，pyOpenSSL，pywin32等。而且现在scrapy尚未全面过渡到python3，所以安装和使用起来会存在一些问题。尤其是在Windows下。 在win7直接使用pip install scrapy安装会出现如下错误： # 提示缺少Twisted
WIN10环境下，Python第三方包scrapy报错==＞Python版本--3.8，Python位号32位，Windows位号64位，一路走来，历经坎坷~
STR_Liang的博客
08-06 492
首先肯定是直接pip install scrapy 直接报错，后来就在网络上面寻找答案 经查询，发现需要安装的依赖库有 lxml、pyOpenSSL、Twisted 、pywin32。需要注意的是我们安装的这些库，都是通过wheel来安装的。因此在安装这些库之前，先得安装wheel。打开控制台窗口，输入pip install wheel，先安装wheel库。 1、pip install wheel 2、pip install lxml 3、pip install pyOpenSSL F、p...
python3.8在window10环境下安装scrapy框架程序
Boy_Teacher的博客
06-04 1407
一、 Scrapy框架介绍 Scrapy 是用纯python实现的为了爬取网络数据的,提取结构性数据而编写的应用型框架；Scrapy 使用了twisted异步网络框架来处理网络通信可以加快下载速度,不用自己去实现异步框架；并且包含了各种中间件接口 可以灵活地完成各种需求。 二、windows10环境下安装方法 win10环境下使用pip install scrapy命令安装Scrapy框架容易出现如下错误。 出现这个错误说明电脑系统内缺少Microsoft visua C++ 14.0插件，大家可以直接从网
如何在Python 3.7.0中安装scrapy框架的操作
爱学习的JackYang的博客
04-03 393
首先，我试过Python 3.8.1的安装，但是有些文件不匹配，而且打开的网站也出现了404（网页丢失状态码），所以我把python 3.8.1卸载了，用原来的python 3.7.0来安装，但是因为 python launcher出现了问题，所以我重新下载了一遍python3.7.0进行了安装，python 3.8.1虽然是新版的，但是因为有些东西在官网上不适配，所以现在不建议。 第一步：...
pythonscrapy爬虫_Scrapy爬虫框架
weixin_39795479的博客
11-24 254
一、scrapy爬虫框架结构1、scrapy不是一个函数功能库，而是一个爬虫框架爬虫框架是实现爬虫功能的一个软件结构和功能组件集合爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫2、“5+2”结构（1）engine（不需要用户修改）控制所有模块之间的数据流根据条件触发事件（2）downloader（不需要用户修改）根据请求下载网页scheduler（不需要用户修改）对所有爬取请求进行调度管理（3...
Python 爬虫框架Scrapy的安装与基本使用（入门）
LU_ZHAO的博客
02-29 813
什么是爬虫 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 简单来说，就是通过程序从web网页上获取自己想要的数据，即自动抓取数据。 爬虫的本质 模拟浏览器发送请求从而获取我们想要的数据。 浏览器打开网页的过程：当你在浏览器中输入地址后，通过D...
python之scrapy库安装错误——Building wheel for Twisted (setup.py) ... error
freshman_web的博客
06-26 5426
安装scrapy库之后，发生错误，看意思是说twisted的whell安装失败： Building wheel for Twisted (setup.py) ... error ERROR: Command errored out with exit status 1: command: 'f:\python3.8.1(32-bit)\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\
scrapy创建以及启动项目步骤！
HWP
02-28 7142
1，创建项目：scrapy startproject biqukanproject D:\pythonscrapy>scrapy startproject biqukanproject New Scrapy project 'biqukanproject', using template directory 'd:\python_install\lib\site-packages\scr...
python之bug1：scrapy做爬虫时提示ModuleNotFoundError: No module named ‘protego‘
藏狐的博客
01-30 851
1.前提条件 编辑器：pycharm 虚拟环境：python3.8.1 包的版本： lxml 4.6.2 twisted 20.3.0 parsel 1.5.2 scrapy 2.4.1 参考官方指南已经在终端中执行下述命令 scrapy startproject tutorial scrapy genspider doutu www.doutula.com scrapy crawl doutu 2.bug 问题描述 ModuleNotFoundError: No module nam
python3.8.1如何安装pillow
12-22
1.下载安装好的Python3.8.1应该是自带了pip3，找到安装路径，我的是我的是在C:\Users\Administrator\AppData\Local\Programs\Python\Python38\Scripts。如下图：2.安装pip 打开cmd界面，cd到C:\Users\Administrator\...
为python3.8.1安装pyqt5时出现的问题
01-06
C:\Users\86135>pip install pyqt5 Collecting pyqt5 Downloading ...| | 204kB 6.2kB/s eta 2:22:38ERR
Linux安装Python3.8.1的教程详解
09-14
在Linux系统中安装Python 3.8.1的过程是一个关键的操作，对于开发人员和系统管理员来说，理解这一过程至关重要。Python是一种广泛使用的高级编程语言，它具有丰富的库支持和跨平台兼容性，使得它成为科学计算、Web...
Deepin15.10的python3.8.1编译安装
01-09
在Deepin15.10安装python3.8.1和pip的更新。 1.从python官网下载安装包，下载并解压 解压命令 tar xvf Python-3.8.1.tgz 解压完成后进入目录 cd Python-3.8.1.tgz 安装前先更新openSLL: sudo apt-get install ...
python3.8.1安装包
06-25
Python 3.8.1是Python编程语言的一个版本，它带来了许多增强和改进，使得这个版本对于开发者来说更具吸引力。Python是一种高级、解释型、交互式和面向对象的脚本语言，广泛应用于Web开发、科学计算、自动化任务、...
数据分析教程【先导片】
lmx1458070445的博客
08-05 586
数据分析的定义为研究、清理、建模和转换数据，以找到有用的信息、提出结论并支持决策。
python字符串数据容器练习（replace,split,count）
2301_79600015的博客
07-31 618
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。
RAG与LLM原理及实践（10）--- 完整自实现Local RAG
最新发布
talentyiyy的专栏
08-05 166
通过这节加上前面的 local RAG 搭建，你完全可以自己实现一个local RAG 模型，而不借助任何外围组件，这样的实现对你加深RAG实现的全过程有直观重要的作用。还是那句话，真正的强者不能只是浮于表面，要知其然更要知其所以然。如果想要实现分布式的vector db 存储与query，那又回到了那个问题，你需要在query 正确率，效率，数据一致性之间做权衡。并且使用类似分布式数据，元数据管理工具，cache 策略等诸多手段进行维护。
java selenium 设置代理，允许在其他环境中使用不同的IP访问
huanghm88的专栏
08-05 207
此代码以Chrome浏览器为例，如果你使用其他浏览器，你需要相应地调整代码。另外，你需要下载适用于你的操作系统的Chrome浏览器驱动，并将路径替换为。在Java Selenium中设置代理可以使用。替换为其他环境中要访问的IP地址。替换为实际的代理IP和端口，并将。
【BUG】Gunicorn [CRITICAL] WORKER TIMEOUT (pid:41518)
集电极
07-31 210
在使用Gunicorn 启动一个Flask服务后，访问接口响应错误，查看日志发现了该错误。具体上，我的接口大约需要2分钟才将结果返回，因此我的超时时间应该设置为200秒比较合适。秒内没有返回结果，Gunicorn 会弹出超时错误，并且会杀死flask服务重启。：接口返回时间超时。默认情况下，Gunicorn 超时时间为。样例，设置超时时间为200秒。解决方法是在启动命令中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值