scrapy使用runner.py run 或 debug爬虫

最新推荐文章于 2023-06-01 17:39:39 发布
最新推荐文章于 2023-06-01 17:39:39 发布
阅读量547 收藏 1
点赞数
分类专栏： # 爬虫 文章标签： 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hans99812345/article/details/122927688
版权

之前我们运行scrapy爬虫，总是在命令行执行

scrapy crawl 蜘蛛名字

这种运行是没问题的，但是无法使用run 、debug

所以新方法来了
在这里插入图片描述

找个目录下，添加一个runner.py

from scrapy.cmdline import execute

if __name__ == '__main__':
    execute('scrapy crawl test_m'.split())

这样就可以右键运行他了

南星叨叨
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy框架中run文件
qq_27109535的博客
07-09 518
scrapy框架中run文件
runner.run()
qq_38335768的博客
03-07 1346
mmedit
scrapy框架非命令行调试主程序run.py
09-09
vscode下的非命令行调试scrapy框架下的代码的主程序run.py
Python爬虫Scrapy框架：scrapy在pycharm配置启动(无需命令行启动)
Python-全栈开发教程-入门到精通
12-18 665
一.新建文件 run.py这个名字随意哈 方法一. from scrapy.cmdline import execute execute(['scrapy','crawl','爬虫程序名字','-a','参数名=参数值','--nolog']) #一个单词一个元素 #传多个参数 #execute(['scrapy','crawl','爬虫程序名字','-a','参数名=参数值','-a','参数...
scrapy流程
qq_53367724的博客
06-01 515
​ scrapy的官方文档: https://docs.scrapy.org/en/latest/引擎(engine)scrapy的核心, 所有模块的衔接, 数据流程梳理.调度器(scheduler)本质上这东西可以看成是一个队列. 里面存放着一堆我们即将要发送的请求. 可以看成是一个url的容器. 它决定了下一步要去爬取哪一个url. 通常我们在这里可以对url进行去重操作.下载器(downloader)
Scrapy框架爬虫.rar_scrapy_爬虫
07-14
谈起爬虫必然要提起Scrapy框架，因为它能够帮助提升爬虫的效率，从而更好地实现爬虫。
python爬虫案例scrapy-demos.zip
最新发布
05-30
2. 创建爬虫：进入到项目所在的路径，执行命令：`scrapy genspider [爬虫名字] [爬虫的域名]`。注意，爬虫名字不能和项目名称一致。 ## 项目目录结构： 1. items.py：用来存放爬虫爬取下来数据的模型。 2. ...
scrapy爬虫项目.zip
04-26
scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word ...
scrapy_pipelines.py
02-26
scrapy的pipline文件
scrapy_settings.py
02-26
scrapy的setting
HttpRunner3.x 源码解析(5)-runner.py
seanyang_的博客
04-05 1262
首先看下生成的pytest文件首先类继承了HttpRunner类主要包括config和teststeps两部分函数的入库是test_start()方法。
Python 如何快速启动scrapy，怎么打断点调试scrapy代码，在pycharm中可视化了
weixin_44532999的博客
11-11 1198
如何在scrapy中简单调试自己的代码，在pycharm中可视化了 详细见图 这上面就加了一个文件 # -*- coding:utf-8 -*- from scrapy import cmdline cmdline.execute(("scrapy crawl zhengfu").split()) 就这么简单， 就只需要在这个文件 加个 cmdline 这个包， 就等同于在黑窗口上面写的 scrapy crawl zhengfu 。 ...
【系列】scrapy启动流程源码分析(1)命令行启动
csdn_yym的博客
01-05 1718
前言 虽然爬虫的入门级编写并不难，但要让爬虫真正稳定可靠的运行起来，真不是一件容易的事。 首先，必须要读懂scrapy这个爬虫框架，如果连这个框架的执行逻辑都搞不懂，那么爬虫也很难写好。 下面，我将粗略研究一遍scrapy源码，再结合其他博主的文章，把scrapy的启动和运行过程捋一遍。 1.命令行启动 这里先不谈使用了各种框架的复杂情况，比如scrapyd服务、redis分布式队列等。只看最简单...
从源码开始学习Scrapy系列10-runspider指令
皮皮王的专栏
05-21 1218
前言runspider命令用于直接通过输入文件来运行爬虫，即可不创建项目代码调试进入runspider模块的run方法输入参数校验if len(args) != 1: raise UsageError() filename = args[0] if not os.path.exists(filename): # 文件存在判定 raise UsageError("File no...
爬虫只能在命令行用scrapy crawl 运行而不能用pycharm run
qq_23392341的博客
08-30 4958
使用命令行scrapy startproject projectname新建一个爬虫的时候，用pycharm打开没办法run运行，会直接exit with code 0，没有执行到爬虫。用pycharm的时候应该在run ->edit configuration中为爬虫配置script和script parameters参数。如图
python使用scrapy_scrapy运行几种方式
weixin_32017023的博客
01-14 1867
crawl语法: scrapy crawl是否需要项目: yes1.在cmd窗口执行$scrapycrawlmyspider[...myspiderstartscrawling...]2.pycharm运行当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python 脚本，它接受参数，调用 scrapy/cmdline.py 中的 ...
在 pycharm 中为 scrapy 配置 Run/Debug Configurations
Dolphin's Blog
07-15 2991
主要是为了在pycharm中可以通过点击Run/Debug 按钮来代替每次在命令行中输入 scrapy crawl crawlName 步骤 1 在scrapy的项目目录中创建一个 start.py 文件，写入如下内容： # -*- coding:utf-8 -*- from scrapy import cmdline cmdline.execute("scrapy crawl craw...
scrapy源码学习 - 启动一个crawl命令
热门推荐
幸福在路上
10-09 1万+
scrapy提供很多种子程序，其中crawl用于启动scrapy项目的一个爬虫。scrapy crawl 爬虫名今天的主题是，当用户输完这个命令以后，到启动爬虫之前，代码是怎么走的。 cmdline.pyscrapy所有子程序的入口函数都在这里。因此，对crawl的处理也是从这个文件开始的。 入口函数非常简单，主要行为都在execute()中。 引用 exectute --
scrapy运行爬虫的几种方式
神秘的doge的博客
07-01 1085
1.开启多个命令行，分别执行scrapy cralw xxxx 2.编写一个脚本，写入以下代码，执行工程下的所有爬虫： # -*- coding: utf-8 -*- # @Time : 25/12/2016 5:35 PM # @Author : ddvv # @Site : # @File : run.py # @Software: PyCharm from scrapy.utils.project import get_project_settings from scrapy.c
scrapy中setting.py作用
05-24
在Scrapy框架中，`settings.py`文件用于管理Scrapy项目的全局配置和选项。该文件包含了许多可配置的选项，可以用来控制Scrapy框架的行为和功能。 具体来说，`settings.py`文件的作用包括： 1. 配置Scrapy项目的全局设置，如爬虫的名称、日志级别、并发请求数等。 2. 配置Scrapy框架的中间件，如下载中间件、爬虫中间件等。 3. 配置Scrapy框架的扩展，如Spider扩展、Downloader扩展等。 4. 配置Scrapy框架的管道，如数据存储管道、数据处理管道等。 5. 配置Scrapy框架的调度器，如调度器队列的类型、调度器的优先级等。 总之，`settings.py`文件是Scrapy项目的核心配置文件之一，通过配置该文件可以对Scrapy框架的各个方面进行定制和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值