笔记（4）

学习目标：

• 掌握 scrapy爬虫框架知识

---

学习内容：

爬虫的框架：
scrapy ：

An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
1.开源的爬虫框架
2.快速、简单、高效的方式

2.安装部署

3.基本使用
1.创建一个项目
scrapy startproject test_scrapy

	1.项目目录：
		1.scrapy.cfg  【项目的配置文件】
		2.settings.py  【项目的配置文件】
		3. spiders/  【防止 爬虫代码的目录】
2.编写爬虫代码
	1.创建一个 爬虫代码
	scrapy genspider [options] <name> <domain>

	scrapy genspider python01 www.xxx.com

 '''
name:
    1.不能重复
    2.爬虫文件的名字
'''
name = 'python01'
'''
   scrapy 允许爬取的 url 
'''
allowed_domains = ['www.baidu.com']
'''
    scrapy 去爬取的 url 列表
'''
start_urls = ['http://www.baidu.com/','https://www.sougou.com']

3.启动爬虫项目
	1.启动命令
	scrapy runspider [options] <spider_file>

	scrapy runspider ./test_scrapy/spiders/python01.py

	scrapy crawl python01

	scrapy crawl python01 --nolog 【使用命令 不显示日志信息】

	2.数据解析：
		1.标签定位：
            返回 selector(xpath,data[xpath表达式 结果])
        2.数据解析
            返回 selector(xpath,data[xpath表达式 结果])
		
		3.取值
			.get()
			.getall()
	
	3.存储数据【持久化数据】
		scrapy crawl python01 -o ./sanguo.txt 【不支持txt格式】

---

学习时间：

2022.4.2

---