爬虫总结8

1. 异步和非阻塞的区别

异步是过程，非阻塞强调的是状态

2. pymongo模块

from pymongo import MongoClient
# client = MongoClient(host=, port=)
uri = 'mongodb://账号:密码@127.0.0.1'
client = MongoClient(uri, port=27017) # 连接对象
# col = client['数据库名']['集合名']'
col = client.数据库名.集合名

col.insert({一条文档}/[{}, {}, ...])
col.find_one({条件})
rets = col.find({条件}) # 返回的是只能遍历一次的cursor游标对象
col.delete_one({条件})
col.delete_many({条件})
col.update({条件},
		   {'$set':{指定更新的kv}},
		   multi=False/True, # 默认False表示只更新一条
		   upsert=False/True) # 默认False，True表示没有就插入，存在就更新

3. scrapy简单使用

创建项目 scrapy startproject 项目名
在项目路径下创建爬虫 scrapy genspider 爬虫名 爬取范围的域名
在项目路径下运行爬虫 scrapy crawl 爬虫名

4. spider.py爬虫模块

class Spider(scrapy.Spider):
	name = 爬虫名
	allowed_domains = ['爬取范围的域名', '可以是多个']
	start_urls = ['起始的url', '可以是多个']
	# scrapy.Spider类必须有名为parse的解析函数
	def parse(self, response):
		# 专门解析起始url对应的response
		yield item # {} BaseItem request None

5. scrapy提取的方法

response.xpath(xpath_str) # 返回由selector对象构成的类list
response.xpath(xpath_str).extract() # 返回包含字符串的列表
response.xpath(xpath_str).extract_first() # 返回列表中第一个字符串

6. response响应对象的常用属性

response.url
response.request.url
response.headers
response.request.headers
response.status
response.body # 响应内容 bytes

7. pipelines.py管道需要在settings.py中开启设置

8. 在settings.py中ROBOTSTXT_OBAY改为False表示忽略robots协议

9. scrapy框架的352阵容

三个内置数据对象
	request: url headers method post_data
	response: url headers status body
	item: {}/BaseItem
五大模块
	scheduler调度器
	downloader下载器
	spider爬虫
	pipeline管道
	engine引擎
两个中间件：对request、response预处理
	spider_middlewares爬虫中间件
	downloader_middlewares下载中间件

10. scrapy的工作流程

a. spider中把start_url构造成request
b. request--爬虫中间件--引擎--调度器，把request放入请求队列
c. 调取器从队列中取出request--引擎--下载中间件--下载器，发送请求，获取response
d. response--下载中间件--引擎--爬虫中间件--spider
e. spider对response提取，提取url，构造成request--重复b步骤
f. spider对response提取，提取item--引擎--管道