python3问题-在idea里面运行爬虫

最新推荐文章于 2023-12-20 21:07:33 发布

金刀李

最新推荐文章于 2023-12-20 21:07:33 发布

阅读量1w

点赞数

分类专栏：查过就记 python 文章标签：在idea里面运行爬虫在idea里面运行爬虫scrapy python scrapy idea

本文链接：https://blog.csdn.net/cmqwan/article/details/89386873

版权

查过就记同时被 2 个专栏收录

50 篇文章

订阅专栏

python

18 篇文章

订阅专栏

本文介绍如何在IDEA环境中配置并运行Scrapy爬虫项目，通过修改sys路径和使用execute命令来启动特定的爬虫任务。适用于希望在集成开发环境中管理和执行爬虫的开发者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在idea里面运行爬虫

新建main文件

# -*- coding: utf-8 -*-

from scrapy.cmdline import execute
import sys, os

# sys.path.append(os.path.dirname(os.path))
sys.path.append(os.path.dirname(os.path.abspath(__file__)))

# execute(['scrapy', 'crawl', 'car'])
execute(['scrapy', 'crawl', 'chelogo'])

在这里插入图片描述