pycharm中打开scrapy项目，import scrapy报错问题

最新推荐文章于 2023-12-01 15:57:21 发布
最新推荐文章于 2023-12-01 15:57:21 发布
阅读量5.9k 收藏 5
点赞数
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangtang1226/article/details/79929591
版权

    因为手头的Python项目有2.7，有3.6的，所以用scrapy时，我想根据python3.6单独做一个虚拟的环境，因此就使用了如下指令：virturalenv  scrapyPython3.6  (g:\scrapyPython3.6)

之后创建了我的scrapy项目    g:\scrapyDemo

但是安装scrapy时，我是在全局安装，也就是会默认的安装在Python36的安装路径下的script(windows版)下，这个时候通过pycharm打开scrapy，发现import scrapy会报错

原因如下：要看当前pycharm中File->settings->project:scrapyDemo ->project Interpreter中设置的环境中是否有scrapy，如果没有需要在此环境下安装scrapy，或者更换已经安装了scrapy的路径


解决方案如下：按照scrapy安装步骤依次在此虚拟环境中安装，安装步骤一样，只是安装时根目录需要是当前的虚拟环境下的scripts文件夹下，也可以使用project Interpreter中绿色的加号，边搜索边安装 


唐唐
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在Pycharm中执行scrapy命令的方法
01-21
当你检查scrapy二进制文件时，你会注意到这么一段python script #!/usr/bin/python from scrapy.cmdline import ...所以，只能我们找到pycharm中的命令行支持文件，即可实现在其中执行 scrapy命令 其中，Script para
pycharm运行scrapy过程图解
09-18
如果没有，你可以使用Scrapy命令行工具在终端中创建一个新的Scrapy项目，然后在PyCharm中打开该项目。 2. **配置Project Interpreter** PyCharm需要知道项目的Python环境和所需的库。进入`File > Settings > ...
运行Scrapy框架报错，无法import引用的问题
qq_43110834的博客
12-05 1281
你永远不知道一个学电气的为什么要费心思在学爬虫，记录一下初学爬虫遇到的一个无法引用类的问题。 关于相对引用，绝对引用的知识，我这边就不再赘述，主要是今天拿别人的项目来调试运行的时候，发现引用一直报错，就很绝望。 首先，右键你的项目名，在出现的框框中找到Mark Directoryas——》Sources Root 这时你就可以看到你的项目名称变蓝了，不出意外运行一下是没问题的。 当然，在这之前我也参考了其他几位博主的问题，这里给大家汇总一下吧（好人做到底了） 1.python引入模块...
pycharm import scrapy 报错，No module named 'scrapy'
weixin_34221773的博客
04-25 980
本地通过下载 pip install scrapy安装成功后，在pychram里面 import scrapy报错 后来在找了各种解决方法，重装wheel，twisted，都不行，最后发现是需要改Project Interpreter 如图我的 python3.6项目默认安装路径在D盘，但是我新建的scrapy项目在C盘，所以一直import scrapy报错，在这里只要重新show...
Python Scrapy爬虫简单教程
养猪少年日记的博客
07-22 1万+
目标确定 本人在做一个前端页面的项目,用到一些电影数据 , 就打算在网上爬取一些数据,之前使用自写的爬虫demo,但效果不太好,而且费时间.所以打算用框架解决. 框架选择Scrapy. 爬取网页:https://www.ygdy8.net/html/gndy/china/index.html 页面分析 打开页面,https://www.ygdy8.net/html/gndy/china/index...
python-Scrapy入门
weixin_44867889的博客
04-13 229
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。
Python爬虫基础之Scrapy框架详解
最新发布
程序园@大Null
12-01 2851
围绕 Scrapy 库展开讲解的爬虫教程。
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
12-21
通过这种方式，你已经成功地在PyCharm中搭建了Scrapy环境并创建了首个Scrapy项目。接下来，你可以运行这个项目，查看爬虫是否能正确抓取和处理数据。在PyCharm中，选择"Run" -> "Run 'get_scdn_article'"启动爬虫。...
Pycharm下添加scrapy库报错解决方法
08-19 3312
pycharm可很方便查找安装第三方包，其可以帮你找到大多数的第三方包，不需要你自己去网上查找和下载。他会自动查找符合你添加python解释器的第三方模块。        然后就要告诉你在哪里可以利用pycharm安装第三方的包了，首先打开pycharm的左上角的File然后找到setting的选项 打开了setting之后就像上图选定的蓝色的选项，然后就会出现已经安装好了的第三方的包。有...
菜鸟写Python-Pycharm执行Scrapy项目报：Scrapy-no active project 和（或）Unknown command: crawl错误
第一段代码的博客
08-10 1万+
菜鸟写Python：Pycharm执行Scrapy项目报：Scrapy-no active project 和（或）Unknown command: crawl错误 Scrapy和寻常的py文件不同，它不能直接在编辑器中通过run来运行，究其原因是因为 Scrapy 是通过 Scrapy 的解释器 scrapy.exe 完成的（通常的python文件是通过python.exe编译的），因而官方出...
Scrapy:安装介绍
08-03 3611
在这之前我们先了解一下什么是Scrapy? Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便 Scrapy 使用了 Twisted’twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求 Scrapy安装 Scrapy框架因为功能十分强大，所以依赖很多库，不能直接安
Scrapy是什么?Scrapy怎么用?Scrapy基础使用(基于scrapy2.0+编写) ๑乛◡乛๑ Scrapy框架使用方法
寻觅的博客
04-16 1569
文章目录Scrapy入门 Scrapy入门 创建项目(前提是已经安装完成了Scrapy)
pycharm安装其它库包，报错提示error:can‘t find Rust compiler，错误:找不到Rust编译器
Mellivora9527的博客
09-15 2万+
这个还是在我的pycharm报错专栏中，下载不上cryptography库的遗留问题 昨天在pycharm ，frie，settings中下载cryptography库提示error:can‘t find Rust compiler，我以为下载好了，没成想是那段英文的意思是：错误:找不到Rust编译器，最主要的迷之操作是在pycharm中可以实现pymysql命令了。 今天再次打开pycharm运行命令，再次拉裤了！ 原因：pip的版本较低 下边解决方法： 升级pip插件，输入命令：easy_in
Scrapy ImportError: No module named items
bitcarmanlee的博客
03-25 9807
1.问题描述在执行scrapy crawl命令爬取数据的时候，代码报了以下错误：ImportError: No module named items但显然我们代码里面是有items这个类的。那问题出现在哪里呢？ 求助万能的stack overflow，发现正好有谈到这个问题。2.问题产生原因简单一句话来描述就是： 爬虫的名字跟项目的名字一样，导致最终导入的时候出错3.解决方案stackoverf
scrapy在pycharm中报错No module named scrapy解决方法
Anglepoppy的博客
04-01 8198
打开File中的setting，找到Project Stucture，在Project Stucture找到templates，对templates进行add Content Root（地址为scrapy安装的路径）。如下图所示。
用Pyinstaller打包Scrapy项目问题解决！！！
热爱代码
01-09 1万+
这篇报废，这里的PyInstaller教程相信对大家会有用，其中会解决spider not found的问题，真正成功地打包Scrapy：https://blog.csdn.net/La_vie_est_belle/article/details/96321995 这个是我的项目目录： 众所周知，dist，build和crawl.spec是打包后生成的文件。 思路就是：写一个脚...
用Pycharm打开Scrapy项目
热门推荐
爱吃土豆
10-24 2万+
首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1 目录结构如下： 打开Pycharm，选择open 选择项目，ok 打开如下界面之后，按alt + 1， 打开project 面板 在test1/spiders/，文件夹下
pycharm中的scrapy框架怎么爬取数据？
05-26
首先，你需要安装Scrapy框架，可以使用以下命令进行安装： ``` pip install scrapy ``` 接下来，你需要创建一个新的Scrapy项目，可以使用以下命令： ``` scrapy startproject project_name ``` 然后，你需要定义一个爬虫，在Scrapy项目的`spiders`目录下创建一个新的Python文件，例如`example_spider.py`，并在其中定义一个类，继承自`scrapy.Spider`类。在该类中，你需要定义以下几个属性： - `name`：爬虫的名称。 - `start_urls`：爬虫开始爬取的URL列表。 - `parse`：解析爬取到的响应数据的方法。 例如，下面是一个简单的爬虫示例： ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" start_urls = [ "http://quotes.toscrape.com/page/1/", "http://quotes.toscrape.com/page/2/" ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), 'tags': quote.css('div.tags a.tag::text').getall(), } ``` 在上面的示例中，爬虫的名称为`example`，开始爬取的URL列表为`http://quotes.toscrape.com/page/1/`和`http://quotes.toscrape.com/page/2/`。在`parse`方法中，我们使用CSS选择器来提取响应中的数据，并使用`yield`关键字将其返回。 最后，你可以使用以下命令运行爬虫： ``` scrapy crawl example ``` 这将启动爬虫，并开始爬取数据。爬取到的数据将会被保存在Scrapy项目的默认输出目录中，通常为`./project_name/spiders`目录下的`output.json`文件中。你也可以使用其他输出格式，例如CSV或XML等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值