如何在IDEA创建scrapy工程

最新推荐文章于 2024-07-04 10:46:51 发布

忘川风华录

最新推荐文章于 2024-07-04 10:46:51 发布

阅读量3.6k

点赞数 2

分类专栏： python

本文链接：https://blog.csdn.net/qq_36968512/article/details/81415682

版权

本文介绍了如何在IntelliJ IDEA中创建Scrapy工程。通过指定目录输入代码，工程创建后会包含特定文件和文件夹。重点讲解了items.py、middlewares.py、pipelines.py、settings.py和spiders目录的作用，以及如何使用命令行生成Spider模板。

摘要由CSDN通过智能技术生成

进入doc输入activate
然后进入你想创建scrapy工程的文件输入以下代码

scrapy startproject 项目名

工程创建结束之后会有这几个文件和文件夹
如下图的
这里写图片描述
进入有个cfg文件的目录，以后操作都是在这个目录下比如创建Sprders和爬虫等等。。
计入air_quality文件里面，开始是下面这样：

下面来介绍下几个主要的文件
1.items.py这个文件就是存放爬取完成之后的对象，可以根据自己的业务进行编写
2.middlewares.py 就是一些中间件
3.pipelines.py 用来出来爬虫姐结果的，也是可以根据具体业务进行编写
4.settings.py 是你整个爬虫框架的一些配置比如名称之类的是需要集体配置的
5.spiders 是你工作目录，需要编写spiders ，但是主要靠生成模板

在当前目录命令行下输入

air_quality>scrapy genspider 爬虫名字目标网站

这是进入spiders会发现多一个爬虫名字 .py的文件内容如下!![这里写图片描述](https://img-blog.csdn.net/20180804212201985?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTY4NTEy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
这个时候输入`scrapy crawl  爬虫名
这个时候发现他是确实能运行的
都结束之后就可以根据情况来进行具体代码编写和相关配置了`