scrapy在python2运行报python3的错误

最新推荐文章于 2021-01-30 08:07:27 发布
最新推荐文章于 2021-01-30 08:07:27 发布
阅读量530 收藏
点赞数
分类专栏： python 文章标签： python2 Python3 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lq_smile_/article/details/79236473
版权

当时很是纳闷,在pychram环境也都设置成python2了,但是运行的时候却是报的python3的错误

原因很简单,我也是傻眼了,py2和py3的scrapy冲突,把python中的scrapy.exe换成scrapy3.exe就可以正常运行了

我的路径是 C:\Python36\Scripts  (找到scripts下的scrapy.exe)

lq_smile_
关注
专栏目录
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
孤寒者的博客
07-05 3万+
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
python2 的代码在python3环境中运行常见报错及解决方式
qq_24391357的博客
05-10 2115
个人目前接触python还不是很久，也不是很深入。。。。所以，只能总结下我遇到的坑。。（好多给忘了）。。以后会经常更新的。1、no module named "urllib2"    在3中urllib2和urllib.request合并了 所以将 urllib2改为urllib.request应该就能运行了。2、TabError: Inconsistent use of tabs and spa...
Python2 爬虫（六） -- 初尝Scrapy框架
热门推荐
指尖飞舞
05-30 1万+
1、Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy官网文档 -- 戳我
python2 和python3 共存 scrapy 启动问题
csdn_am的博客
03-28 1210
python3 -m scrapy crawl 工程名称python -m scrapy crawl 工程名称定时循环执行scrapy 项目，用schedulers框架from scrapy.cmdline import execute import os from apscheduler.schedulers.blocking import BlockingScheduler # execut...
python scrapy2
qq_42243251的博客
09-24 208
import requests from requests.exceptions import RequestException #捕捉异常 import re import json headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like ...
windows环境下python2与python3同时安装，且安装各自对应的scrapy框架。利用不同的命名创建不同的scrapy项目
qq_37733294的博客
10-14 281
这里默认会python的安装以及pip，scrapy框架的安装。 配置环境变量：python的地址在python的安装文件夹下，pip，scrapy的位置在scripts文件夹下 1.安装python2并配置环境变量，并将python.exe文件改名为python2.exe 2.下载pip安装包，随便找个磁盘进行存储。pip下载地址：https://pypi.org/project/pip/...
scrapy python3_scrapy在python3版本运行问题
weixin_42515301的博客
01-30 537
C:\Users\Administrator>scrapy startproject sssTraceback (most recent call last):File "", line 562, in module_for_loader_wrapperFile "", line 870, in _load_moduleFile "", line 313, in _call_with_fra...
Python3.5安装Scrapy遇到的错误及解决方法
Calm微笑
02-18 5836
安装步骤详见官方网址http://doc.scrapy.org/en/latest/intro/install.html   一 、sudo pip3 install Scrapy出现错误 pyasn1-modules 0.2.4 has requirement pyasn1<0.5.0,>=0.4.1, but you'll have pyasn1 0.1.9 which i...
Python实现从脚本里运行scrapy的方法
12-25
本文实例讲述了Python实现从脚本里运行scrapy的方法。分享给大家供大家参考。具体如下： 复制代码 代码如下:#!/usr/bin/python import os os.environ.setdefault(‘SCRAPY_SETTINGS_MODULE’, ‘project.settings’)...
Python实现在线程里运行scrapy的方法
09-22
本篇文章将探讨如何在Python线程中运行Scrapy爬虫，以便实现多任务并行，提高工作效率。 首先，我们要知道Scrapy是基于Twisted异步网络库构建的，它默认在单个进程中运行。如果直接在多线程环境中运行Scrapy，可能...
scrapy,python离线安装所有安装包
11-08
完全离线安装python3，离线安装scrapy，及各种安装过程中需要的系统包和python包
基于Scrapy的Python3分布式淘宝爬虫.zip
04-08
在这个基于Scrapy的Python3分布式淘宝爬虫项目中，我们可以学习到以下几个关键知识点： 1. **Scrapy框架**：Scrapy是用Python编写的，用于网络爬虫开发的高级框架。它简化了网页抓取、数据提取、数据存储等流程，...
在windows下切换python2或python3创建scrapy
liguandong
12-19 733
这个问题很好解决，如果你的windows同时安装了python2和python3，你可以在2、3中切换不同的版本来创建crapy，现在scrapy也支持python3了。 如果是python3的话，直接写 scrapy startproject myspider 即可，就会创建一个myspider文件 不过要在环境变量下配置python2和python3，并更改2中的pyt
第1.2章 scrapy之python2中scrapy安装
warrah 南极狼
10-13 3079
python版本采用3.5.2，执行pip install scrapy，会提示error: Unable to find vcvarsall.bat的错误，黄色的内容是pip的版本低了，那么可以执行 python -m pip install --upgrade pip进行升级 python3.5在windows环境依赖于VS2015，而VS2015是For Win10的，在Win7上装不
scrapy3在python2,python3共存下的使用
jackyrongvip的专栏
12-06 346
因为安装了PYTHON2,PYTHON3，之前的SCRAPY 在PYTHON2下是可以的，但在3下运行失败，关联的还是2，原来要在PYTHON3运行的时候，要用全路径： 执行scrapy命令(假设要执行scrapy startproject projectname)的时候不直接键入scrapy, 而是加上scrapy的绝对路径, windows上: C:\python3\Scripts\sc...
python2和3切换时的几个注意点会报错
weixin_30908707的博客
03-20 205
今天把python2改成python3时发现几个以前的py文件报错了，网上百度后发现原来是Python的问题，现在总结了一下两点： 1. reload(sys)错误提示 python2.x中： import sys reload(sys) sys.setdefaultencoding(‘utf-8’) python3.x中： import importlib,sys importl...
python 3.6.2 安装与运行 Scrapy 问题与解决
hunter_wyh
11-02 775
python 3.6.2 安装与运行 Scrapy 问题与解决Scrapy官方安装指引Scrapy依赖： lxml, 一个高效的XML和HTML解析器 parsel, 一个写在lxml之上的HTML / XML数据提取库 w3lib, ，一个用于处理URL和网页编码的多功能助手扭曲，异步网络框架 twisted, 异步网络框架,如twisted安装失败。参考python 3.6 安装 Twisted
win10下python2和python3共存，安装Scrapy
鲜衣怒码的博客
01-30 564
最近在学习python，接触到爬虫框架Scrapy，在此记录一下自己的学习到的安装过程。 官网下载python2和python3，我下的是3.6.4和2.7.14。 首先安装python2，我的是安装在E:\python27， 版本2要手动配置环境变量，电脑高级属性-环境变量-path加入E:\python27和E:\python27\Scripts。然后把E:\python27下的pyt
基于java+Face++人脸识别项目前端采用android实现.zip
最新发布
09-14
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使
快速入门Scrapy：Python爬虫开发框架详解
Python作为一种强大的编程语言，因其易于理解和丰富的库支持，在Web爬虫领域有着显著的优势。Scrapy作为Python的明星爬虫框架，为开发高效、可扩展的网络数据抓取工具提供了绝佳的平台。本文将带你入门Scrapy，了解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值