scrapy怎么debug断点调试

scrapy怎么debug断点调试
1、 在项目的文件夹下增加一个文件main.py(scrapy.cfg同等级中)
main.py文件

from scrapy.cmdline import execute
import os
import sys
if __name__ == '__main__':

    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(['scrapy','crawl','scrapy_name'])

解析如下
1、 os.path.abspath(path) 返回绝对路径
2、os.path.dirname(path) 返回文件夹路径
3、sys.path 返回模块的搜索路径,初始化时使用PYTHONPATH环境变量的值, sys.path.append当前文件执行的目录的路劲就加入到python
路劲里面
4、file 本文件的地址
文件解析具体些地址参考https://blog.csdn.net/huangwencai123/article/details/89879951
这行代码获取当前py文件的父目录,省去我们直接复制路径的精力和时间,同时也方便我们将该项目放到其他的平台上去运行,不会报路径的错误。
5、execute(execute函数是内嵌在scrapy中的,调用这个函数可以直接调用该Scrapy工程项目的爬虫脚本,这个函数的执行需要在爬虫项目的父目录下进行。execute函数里边的参数其实就是将Scrapy爬虫执行命令拆分,然后分别以一个字符的方式放到了一个数组中。

这个执行可以不用写scrpy命令了

2、调试断点
在scrapy的spider中设置断点,main.py中用debug调试则可。

  • 10
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值