python3网络爬虫第三章: Scrapy 爬虫框架 (1)

1.认识目录结构

安装略过,使用命令创建项目

 scrapy startproject myfirstpjt

这里面 scrapy.cfg 是爬虫项目配置文件,项目的同名子文件夹中,init.py 是初始化文件,items.py 是爬虫项目的数据容器文件,piplines.py 是爬虫的管道文件 seetings.py爬虫项目的设置文件

2.常用的命令

1.创建所需参数帮助信息 :

scrpy startproject -h

2.全局命令

全局命令不依靠 scrapy 可以全局使用,参数帮助信息 scrapy -h

a.scrap fetch -h

在项目外使用就是用 scrapy 默认的爬虫来爬取,项目内则使用项目中的来爬取
显示爬取百度的过程

scrapy fetch http://baidu.com

b.scrapy runspider 爬虫文件名.py

可以直接运行爬虫文件不依赖项目

c.scrapy seetings –get BOT_NAME

查看配置信息