在vscode中调试python scrapy爬虫

最新推荐文章于 2024-05-14 11:41:13 发布

尽君欢

最新推荐文章于 2024-05-14 11:41:13 发布

阅读量3.5k

点赞数 9

分类专栏：网络爬虫文章标签： python vscode scrapy

本文链接：https://blog.csdn.net/weixin_45688123/article/details/126617782

版权

网络爬虫专栏收录该内容

8 篇文章 2 订阅

订阅专栏

文章目录

前言
一、vscode调试前的准备
二、使用步骤
总结

前言

直接在vscode中使用Debug是无法调试scrapy项目的，需要进行配置才能进行调试

一、vscode调试前的准备

安装好 vscode 全称是 Visual Studio Code
安装好python 3
在vscode 中安装python3 的相关插件

二、使用步骤

1.使用vscode 打开scrapy项目

使用vscode 打开scrapy项目，打开的文件夹为 scrapy.cfg 的上一级目录，如下图片所示

2.创建启动爬虫文件

创建启动爬虫文件 main.py ，main.py 要与 scrapy.cfg 是同一级文件

代码如下（示例）：

from scrapy.cmdline import execute
import sys
import os
# 获取当前脚本路径
dirpath = os.path.dirname(os.path.abspath(__file__))
#运行文件绝对路径
print(os.path.abspath(__file__))
#运行文件父路径
print(dirpath)
# 添加环境变量
sys.path.append(dirpath)
#切换工作目录
os.chdir(dirpath)
# 启动爬虫,第三个参数为爬虫name
execute(['scrapy','crawl','images'])

3.配置运行与调试

一点击进入运行和调试窗口，二，点击创建 launch.json 文件
选择 Python File
编写 launch.json 文件

只手动添加 name 是 Scrapy 的这部分，别的让其自动生成

在这里插入图片描述

代码如下（示例）：

{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
    // 只手动添加 name 是 Scrapy 的这部分，别的让其自动生成 
        {
            "name": "Scrapy",
            "type": "python",
            "request": "launch",
            "module": "scrapy",
            // args 的第二个参数是爬虫 name
            "args": ["crawl", "images", "-o", "bikes.json"]
        },
        {
            "name": "Python: Current File",
            "type": "python",
            "request": "launch",
            "program": "${file}",
            "console": "integratedTerminal",
            "justMyCode": true
        }
    ]
}