scrapy学习2

使用scrapy的版本：1.6.0

1.新建一个爬虫项目

scrapy startproject <项目名称>

 我创建第一个scrapy爬虫：scrapy startproject firstSpider

执行过后会生成一个文件，文件结构为：

文件介绍：

firstSpider/：项目的python模块

firstSpider/items.py:  目标文件

 作用：定义结构化数据字段，用来保存爬取的数据

mySpider/pipelines.py:  管道文件

mySpider/setting.py: 设置文件

mySpider/spiders/: 存储爬虫代码目录

scrapy.cfg: 项目的配置文件

 

转载于:https://www.cnblogs.com/xianqingsong/p/11055872.html