Scrapy爬虫框架(三):设置在 Pycharm 中Debug

最新推荐文章于 2024-03-22 12:10:01 发布

转载最新推荐文章于 2024-03-22 12:10:01 发布 · 532 阅读

文章标签：

#python #Scrapy #爬虫 #Pycharm

脚本同时被 2 个专栏收录

6 篇文章

订阅专栏

爬虫，Scrapy，Pycharm

1 篇文章

订阅专栏

本文介绍了一种通过编写Python脚本来启动Scrapy爬虫的方法。具体步骤包括：首先，在与setting.py同级目录中创建run.py文件；其次，在run.py中编写指定代码，通过命令行调用Scrapy框架运行名为'douban_Top-250'的爬虫。

第一步：首先在setting.py同级目录下创建run.py文件

第二步：在 run.py 文件写入一下代码

# -*- coding: utf-8 -*-

from scrapy import cmdline

name = 'douban_Top-250'#爬虫的名称
cmd = 'scrapy crawl {0}'.format(name)
cmdline.execute(cmd.split())

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

0oBado0

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python高频面试题 - Scrapy爬虫框架高级五道题上

孤寒者的博客

07-24

1万+

1.如何实现 Scrapy 的分布式抓取？使用 scrapy-redis 有什么注意事项？ 2.Scrapy 如何处理动态网页？如何与 Splash 或 Selenium 集成？ 3.你如何设计一个支持增量抓取的 Scrapy 框架？ 4.Scrapy 如何避免 IP 被封？如何实现高效代理池？ 5.如何调试 Scrapy 爬虫（如设置断点、查看请求/响应内容）？

pycharm下打开、执行并调试scrapy爬虫程序

热门推荐

和而不流

05-14

4万+

首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1 目录结构如下：打开Pycharm，选择open 选择项目，ok 打开如下界面之

参与评论您还未登录，请先登录后发表或查看评论

Scrapy的debug方式

weixin_33749131的博客

06-03

338

Scrapy不方便调试，但是为了深入学习框架内部的一些原理，有时候仅仅依靠日志是不够的。下面提供一种scrapy的debug方式 demo直接用来自官方例子来演示：https://github.com/scrapy/quotesbot 在运行 scrapy 库时，其实是相当于运行一个 python 脚本： #!/usr/bin/python from scrapy.cmdline impo...

scrapy debug

zlc1990628的博客

03-22

461

1、在scrapy项目下新建main.py文件，与scrapy.cfg平级。在spiders文件夹下新建run.py，内容如下。在pycharm中，直接debug该文件就可以了。scrapy crawl xx.py(爬虫文件名)2、python文件运行。

爬虫Debug

V2yeah

04-19

555

通过scrapy shell url已经拿到返回的html，输入自己的xpath，就可以拿到我们想要拿到的内容调用自身的logger方法，（self.logger.info） pycharm置断点

scrapy中如何debug

kingUROOT的博客

12-13

685

1.在项目启动目录下建立一个py文件 # -*- coding: utf-8 -*- import sys import os # __file__ :当前文件夹 # os.path.abspath: 文件的绝对路径 # os.path.dirname: 文件的上一级 # sys.path.append 插入到环境变量 from ...

Scrapy爬虫框架

Java/Python大数据随笔

10-09

2556

Scrapy是一个基于Python的开源网络爬虫框架，用于从网页中提取数据。它提供了一套高效、灵活和可扩展的工具，可以帮助开发者快速构建和部署爬虫程序Scrapy是一个由Python语言开发的适用爬取网站数据、提取结构性数据的Web应用程序框架。主要用于数据挖掘、信息处理、数据存储和自动化测试等。通过Scrapy框架实现一个爬虫，只需要少量的代码，就能够快速的网络抓取Scrapy基于Twisted，Twisted是一个异步网络框架，主要用于提高爬虫的下载速度。

pytcharm 搭建 scrapy爬虫框架

12-02

在Win10环境下，我们可以借助PyCharm来搭建Scrapy爬虫框架，这将使我们的工作更加便捷和高效。首先，我们需要确保已经安装了Python。Python是Scrapy的基础，所以必须确保你的系统上已经安装了Python，并且版本兼容...

在pycharm搭建scrapy爬虫框架

最新发布

09-27

PyCharm是一款流行的集成开发环境（IDE），非常适合用于Python项目，包括Scrapy爬虫框架的开发。以下是使用PyCharm搭建Scrapy爬虫的基本步骤： 1. **安装PyCharm**: 首先确保已安装最新版本的PyCharm Community ...

Python爬虫：Scrapy报错：ModuleNotFoundError: No module named ‘scrapy.contrib‘

Yummy的博客

10-19

2066

项目场景：今天，又开始自学Python爬虫Scrapy框架辽，爬爬爬于是又导包报错辽，，，问题描述：提示：第一行导入scrapy.contrib时报错了。原因分析：百度：找到类似的问题和解决方式： # bug： from scrapytest.NewsItems import NewsItem # 改为 # debug：from scrapytest.scrapytest.items import NewsItem 思考：重新导入提示：导入时自动显示.scrap..

pycharm 添加 scrapy 自定义调试 debug

weixin_39720495的博客

10-23

266

在本地开发过程中，如果想要对 scrapy 的某个 spider 进行调试，可以手动添加调试器：如果这个界面为空，可以右键直接执行当前 spider ，然后会出现类似的配置；再点击 Edit Configurations 即可配置界面：主要分三步走，首先找到 scrapy 安装的路径第一步，添加 scrapy 脚本路径找到 scrapy 脚本所在路径在 linux 系统中使用如下...

PyCharm下进行Scrapy项目的调试

09-12

337

1、首先创建一个Scrapy项目：在命令行输入： scrapy startproject project_name project_name为项目名称，比如我的项目名称为py_scrapyjobbole，生成的目录为： 2、创建新的Spider 在命令行输入： scrapy genspider jobbole(spider名称) blog.jobbole.com(

Scrapy基础(四)————Scrapy的使用Pycharm进行Debuge设置

weixin_34365417的博客

05-15

187

好比Django的Debuge 与前端进行交互时的方便，但是Scrapy 不自带，所以我们写一个main文件来debuge 作用：通过cmd 命令启动爬虫 1 #-*-coding:utf-8 -*- 2 #通过调用命令行进行调试 3 4 __author__ = "ruoniao" 5 __date__ = "2017/5/14 16:39" 6 #调用execu...

pycharm 调试 scrapy

一步一个脚印的往前走！

03-13

1万+

pycharm 调试 scrapy 问题：Unknown command: crawl

Scrapy基础——Debug和test

weixin_34313182的博客

06-10

259

写代码的最常做的事情就是debug和test，那么如何在Scrapy中检查爬虫能否正常运行，保证在大规模作业时不会遇到奇奇怪怪的问题呢？这里主要根据实例说些debug的方法。 Debug三部曲 Parse parse命令主要用于从method级别去检查爬虫不同部分的行为。它有以下几个可选项： --spid...

scrapy怎么debug断点调试

huangwencai123的博客

05-06

6970

scrapy怎么debug断点调试 1、在项目的文件夹下增加一个文件main.py（scrapy.cfg同等级中） main.py文件 from scrapy.cmdline import execute import os import sys if __name__ == '__main__': sys.path.append(os.path.dirname(os.path.abs...

scrapy 如何用pycharm debug 调试

行客科技工作室

01-28

1324

scrapy可以使用scrapy.cmdline 在pycharm 中 debug 调试爬虫程序。

如何在pycharm中调试scrapy

everlasting_188-java从业者

05-15

710

引用：https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects The scrapy command is a python script which means you can start it from inside PyCharm.When you examine the...

scrapy 配置debug模式

Darkman_EX的博客

06-07

5614

第一步：创建manage.py(名字可以随便，注意后面要使用到改名字)：第二步：在manage.py文件中写入以下代码： #!/usr/bin/python from scrapy.cmdline import execute execute('scrapy crawl dailiSpider'.split()) 第三步：点击栏目run中的debug，配置信息： Scrip...