【python爬虫】scrapy在pycharm 调试

web行路人

已于 2023-11-23 18:14:53 修改

阅读量1.4k

点赞数 8

分类专栏： Python知识体系文章标签： python pycharm scrapy

于 2023-11-23 17:38:05 首次发布

本文链接：https://blog.csdn.net/qishuixian/article/details/134582838

版权

Python知识体系专栏收录该内容

2 篇文章 0 订阅

订阅专栏

scrapy在pycharm 调试

1、使用scrapy创建一个项目

scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py（与scrapy.cfg文件的同一目录下）, debug ‘run’即可

# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件（比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py）复制一份到tutorial项目的根目录下（scrapy.cfg文件的同一目录下）

编缉文件调试运行配置

调试与运行

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

web行路人

关注关注

8
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试，scrapy爬虫
复制链接

扫一扫

专栏目录

pycharm运行scrapy过程图解

09-18

主要介绍了pycharm运行scrapy过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Python+Pycharm+Scrapy搭建爬虫项目.docx

03-17

Scrapy是一个强大的Python爬虫框架，它为网页数据抓取和结构化数据提取提供了便捷的工具。本篇文章将详细介绍如何使用Python、PyCharm和Scrapy来搭建一个爬虫项目。首先，确保你已经安装了Python 3.x版本。PyCharm...

参与评论您还未登录，请先登录后发表或查看评论

PyCharm下进行Scrapy项目的调试

HuangQinJian

06-02

1585

PyCharm下进行Scrapy项目的调试

pycharm爬虫模块（scrapy）基础使用

最新发布

weixin_74182283的博客

04-15

2462

今天学了个爬虫。在此记录。

scrapy debug

zlc1990628的博客

03-22

152

1、在scrapy项目下新建main.py文件，与scrapy.cfg平级。在spiders文件夹下新建run.py，内容如下。在pycharm中，直接debug该文件就可以了。scrapy crawl xx.py(爬虫文件名)2、python文件运行。

weixin_43343144的博客

02-22

1126

第二种方式：参考链接：https://www.jianshu.com/p/6f7cf38d5792 pycharm调试scrapy常用的命令配置： scrapy crawl <scrapy_name> （scrapy_name不是文件名，而是Spider的属性name的值） scrapy runspider scrapy_first/spider/book.py 第一种模...

爬虫实战三、PyCharm搭建Scrapy开发调试环境

Cehae的博客

04-03

797

点击File-> Settings->Project: mySpider->Project Interpreter。注意：如果有多个Python版本，为防止冲突可以选择第一个虚拟环境，此处我只有一个环境，选择配置系统解释器。一般情况下Anaconda已经安装了很多类库，我们只需安装scrapy即可。注意此截图已经配置好完毕，如果没有Project Interpreter，点击下图红框处添加。###2-2、配置Project Interpreter。解释器安装完毕，点击右下方的+号，查询包。

pycharm 下调试 scrapy

weixin_33736649的博客

12-27

139

（1）用pycharm导入scrapy项目（2）选择自己编写的scrapy，run一下（3）点击菜单栏的run ，选择Edit Configurations。（4）选择运行的spider文件（5）在右侧script 输入你的cmdline.py 的地址，本人是 /usr/lib64/python2.7/site-packages/scrapy...

scrapy 在 pycharm 中调试

木下瞳的博客

05-04

207

https://www.cnblogs.com/weixuqin/p/9074448.html 在项目文件夹中建一个 main.py 文件，与 scrapy.cfg 文件在同级目录输入： #!/usr/bin/env python #-*- coding:utf-8 -*- from scrapy.cmdline import execute import os import sys ...

pycharm 调试 scrapy

热门推荐

一步一个脚印的往前走！

03-13

1万+

pycharm 调试 scrapy 问题：Unknown command: crawl

在pycharm里面调试scrapy

u012970678的博客

02-20

156

2，在项目运行的“编辑配置”里面添加一个Python配置。任意取名，关键是在script栏填上刚刚创建的文件路径，还有在工作目录填上scrapy的项目目录即可。1，在scrapy项目中，和scrapy.cfg同目录里创建一个自己命名的py文件，写上这两行代码，其中爬虫名字自己更换。

scrapy在pycharm环境下调试

李文龙的博客

11-07

136

在项目文件夹中可新建一个main.py的文件，目录结构如下代码 from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy", "crawl", "tiebaspider"])#其中t...

【Python爬虫：Scrapy】之 PyCharm 搭建Scrapy环境+创建Scrapy项目实例

12-21

一、基本环境 win10 PyCharm Python 3.6 ...三、在pycharm创建一个Scrapy项目 1.在pycharm中创建一个普通项目（Pure Project 即可），如下图。 2.在cmd中cd至项目所在文件夹，执行 scrapy startprojec

Python基于Scrapy-Redis分布式爬虫设计

11-04

Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数）...

scrapy 如何用pycharm debug 调试

行客科技工作室

01-28

1013

scrapy可以使用scrapy.cmdline 在pycharm 中 debug 调试爬虫程序。

在PyCharm中调试Scrapy爬虫

zzy979481894的博客

03-15

514

通常运行Scrapy爬虫的方法是在工程目录下执行scrapy crawl <spider>命令，而不是直接运行Python脚本，因此无法直接命中断点。执行scrapy命令时实际上是执行了scrapy.cmdline模块，因此在PyCharm中添加一个运行该模块的配置即可。点击左上角的"Add Configuration…" 添加一个Python运行配置点击右边"Script ...

在pycharm中配置调试scrapy

heyifei88的博客

11-17

4245

1.配置见下图 2.直接点击运行，不用再输入 scrapy crawl csdn --nolog 命令，运行结果如下

在PyCharm中运行scrapy项目

wangjiang

01-26

6516

安装Scrapy 关于Scrapy框架简单介绍，可以参看菜鸟教程：Scrapy 入门教程。在Mac OS中安装Scrapy并不是直接安装，而是先安装virtualenv，virtualenv可以创建一个隔绝独立的python开发环境，让不同项目分别运行在自己需要的开发环境中，解决不同项目间多版本的冲突问题。安装完virtualenv后再继续安装Scrapy。 pip install virtu...

pycharm运行scrapy项目

adi_cool的博客

08-25

595

pycharm运行scrapy项目刚学scrapy，之前都是在命令行运行scrapy项目，但是据说用pycharm可以debugger，想试试，但会出问题，下面是我看了网上解决方法之后总结的我觉的较好的解决方法配置过程首先在项目文件和scrapy.cfg同一级别目录下新建一个main.py main.py# -*— coding: UTF-8 -*- from scrapy.cmdline i

scrapy在pycharm

09-27

Scrapy是一个开源的网络爬虫框架，用于网页抓取和数据提取。它使用Python编写，并可以用作通用的网络爬虫或用于API数据采集。要在PyCharm中使用Scrapy，首先需要安装Scrapy和相关依赖项。你可以通过在命令行中运行```pip install scrapy```来安装Scrapy。安装完成后，你可以在命令行中输入```scrapy -v```来检查Scrapy是否成功安装。要在PyCharm中创建一个Scrapy项目，你可以使用以下步骤： 1. 打开PyCharm并创建一个新的Python项目。 2. 在项目根目录下打开终端或命令提示符。 3. 使用命令```scrapy startproject 项目名称```来创建一个新的Scrapy项目，例如```scrapy startproject baidu_spider```。如果你在PyCharm中调试Scrapy程序，你可以通过创建一个小脚本来启用调试功能。具体步骤如下： 1. 在PyCharm中创建一个新的Python脚本。 2. 导入Scrapy模块和你的Scrapy项目。 3. 编写你的Scrapy程序代码并进行调试。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交