爬虫-day03

一、cookie和session

1、什么是cookie？
	cookie是指网站为了鉴别用户身份，进行会话跟踪而存储在客户端本地的数据。
2、什么是session？
	本来的含义是指有始有终的一些列动作，而在web中，session对象用来在服务器存储特定用户会话所需要的属性及信息。
3、cookie和session产生的原因：
	cookie和session他们不属于http协议范围，由于http协议是无法保持状态，但实际情况，我们有需压保持一些信息，作为下次请求的条件，所有就产生了cookie和session。
4、cookie的原理：
	由服务器产生，当浏览器第一次登录，发送请求到服务器，服务器返回数据，同时生成一个cookie返回给客户端，客户端将这个cookie保存下来。
	当浏览器再次访问，浏览器就会自动带上cookie信息，这样服务器就能通过cookie判断是哪个用户在操作。
	
	cookie的缺陷：
		1、不安全--保存在客户端。
		2、cookie本身最大支持4096（4kb）---存储大小受限。
5、session的工作原理。
	正是因为cookie的缺陷，所有产生了另外一种保持状态的方法---session。
	服务器存储session，基于http协议的无状态特征，所以服务器就不知道这个访问者是谁。为了解决这个问题，cookie就起到了桥的作用。cookie在使用的过程中，将一个叫做sessionid的字段放到cookie中，将来服务器可以通过这个id字段来查找到地上那个用户的session。
	
	session的生命周期：当用户第一次登陆时创建（生命开始），到session有效期结束（30min）。
	
6、当我们浏览器关闭，session是否就失效了？
	不失效，原因，session失效使用生命周期决定的。
7、cookie组成：
	name：cookie名称，一旦创建，不可更改。
	value：该cookie的值
	domain：者cookie可以访问网站域名。
	maxage:cookie的失效时间。负数是永不失效。
	path：这个使用路径
	http字段：cookie的httponly，若次属性为true，则只有http头中会带此cookie。
	secrue:该cookie是否仅被使用安全传输协议。
	size:cookie的大小
	
8、会话cookie和持久cookie。
	持久化：将内存中的数据存储到硬盘（文件中，数据库）上的过程。
	序列化：将对象保存到硬盘上。
	
	会话cookie：保存在内存中cookie，浏览器关闭，cookie失效。
	持久cookie：保存在硬盘上的cookie。
9、用requests实现登陆：
（1）只需要将【登陆后的】cookie字段封装在请求头中。
（2）使用requests的session对象登陆
	session对象可以记录登陆状态。
	使用步骤：
	#session：记录登陆状态
	se = requests.Session()
	data = {
		'email':'13016031459',
		'password':'12345678',
	}
	#此时se对象就保存了登陆信息
	se.post(base_url,data = data,headers = headers)
	------------------------------------------
	index_url = 'http://www.renren.com/971682585/profile'
	#用se对象来进行个人首页的访问，就可以了
	response = se.get(index_url,headers=headers)
	if '鸣人' in response.text:
		print('登陆成功！')
	else:
		print('登陆失败！')

第三讲 正则表达式

一、数据的分类

1、结构化数据
	特点：数据以行为单位，每一个数据表示一个实体。每一行数据的属性都是一样的。
	举例：关系型数据库中的表就是结构化数据。
	处理方法：sql
2、半结构化数据
	特点：结构化数据的另一种形式。他并不符合关系型数据的特点，不能用关系型模型来描述。但是这种数据包含相关标记，有用来分割语义元素以及字段进行分层的描述。
	因此也被称为自描述结构。
	举例：xml，html，json
	处理方法：正则，xpath，jsonpath，css选择器。
3、非结构化数据：
	特点：没有固定结构的数据。
	举例：文档、图片、音频、视频。
	处理方法：常常用二进制形式来做整体保存。

二、json数据

1、json是什么语言的内容？
	json是js语言中用来用【字符串格式】来保存对象和数组的一种数据结构。
	json数据本质上是字符串。
2、js种数组和对象：
	js的数组：var array  = ['aaa','bb','cc']----和python列表对应
	js的对象：var obj = {name：'zhangsan',age:10}---和python字典对应。
		name = obj.name
3、json数据的解析方法：
	json模块：
	对json字符串的操作“：
		json.loads(json_str)--->python的list或者dict
		json.dumps(python的list或者dict) --->json_str
	------
	对json文件的操作：
		json.load(fp)--->从json文件中读出json数据，返回一个python的list或者dict
		json.dump(python的list或者dict，fp)---》python的list或者dict保存到fp所对应的的文件中。

4、json的意义：
	json作为数据格式进行传输，具有较高的效率
	json不像xml那样具有严格的闭合标签，所以json作为数据传输的时候，他的数据有效占比（有效数据和总数据的比）比xml高很多。
	在相同流量下，json比xml作为数据传输，传输的数据更多。

三、正则表达式

1、元字符
	（1）匹配边界：
		^ ----行首
		$-----行尾
	（2）重复次数
		？----0次或1次
		*----->=0
		+---- >=1
		{n,}--->=n
		{n,m}--->=n,<=m
		{n}----n次
	（3）各种字符的表示
		[]----匹配括号中一个字符，单字符
		[abc]--匹配a或者b或者c
		[a-z0-9A-Z]
		\d---数字
		\w---数字字母下划线
		\s---空白字符：换行符、制表符、空格
		\b---单词边界
		.----除换行符以外的任意字符。
2、re模块的使用。
	python中re模块是用来做正则处理的。
（1）re模块的使用步骤：
	#1导包
	import re
	#2将正则表达式编译成一个pattern对象
	pattern = re.complie(
				r'正则表达式',
				'匹配模式'
				)
	r表示元字符。
	#3、用pattern对象来使用相应的方法来匹配内容。

（2）pattern对象的方法：
	1.match方法：默认从头开始，只匹配一次，返回一个match对象。
	pattern.match(
		'匹配的目标字符串'，
		start,匹配开始的位置--缺省，start = 0
		end，匹配结束的位置--缺省,end = -1
	)--->match对象
	
	match对象的属性：
		match.group()---获取匹配内容。
		match.span()--匹配的范围
		match.start()---开始位置
		match.end()---结束位置
			这些方法都可以带一个参数0，但是不能写1,1来表示取分组。
			match.group(0)---获取匹配内容。
			match.span(0)--匹配的范围
			match.start(0)---开始位置
			match.end(0)---结束位置
			match.groups()--将所有分组的内容，按顺序放到一个元组中返回
	2、search方法：从任意位置开始匹配，只匹配一次，返回一个match对象
		pattern.search(
			'匹配的目标字符串'，
			start,匹配开始的位置--缺省，start = 0
			end，匹配结束的位置--缺省,end = -1
		)--->match对象
	
	3、findall方法：全文匹配，匹配多次，将每次匹配到的结果放到list中返回。
		pattern.findall(
			'匹配的目标字符串'，
			start,匹配开始的位置--缺省，start = 0
			end，匹配结束的位置--缺省,end = -1
		)--->list	
		
		
	4、finditer方法：全文匹配，匹配多次，返回一个迭代器。
		pattern.finditer(
			'匹配的目标字符串'，
			start,匹配开始的位置--缺省，start = 0
			end，匹配结束的位置--缺省,end = -1
		)--->list	
		finditer主要用匹配内容比较多的情况下。


	5、split：切分，按照正则所表示内容进行切分字符串，返回切分后的每个子串
		pattern.split(
			'要切分的字符串'，
			'切分字数'，默认是全部分。
		)--->list
	6、sub方法：用指定字符串，替换正则表达所匹配到的内容。
		pattern.sub(
			repl,#替换成什么
			content,替换什么
			count,替换次数，默认替换所有
		)--->替换后的字符串。
		
		repl替换内容可以使函数：
			函数要求：
				1.函数必须有参数，参数就是正则匹配目标字符串所得到的每个match对象。
				2、这个函数必须要有返回值，返回值必须是字符串，这个字符串将来就作为替换的内容。
		
		#zhangsan:3000,lisi:4000
		#涨工资每个人涨1000
		content = 'zhangsan:3000,lisi:4000'
		p = re.compile(r'\d+')
		result = p.sub(add,)

	7、分组
		分组在正则表达式中使用（）来表示的，一个括号就是一个分组。
		分组的作用：
		（1）筛选特定内容
		（2）可以在同一个表达式中应用前面的分组：
			\1引用第一分组
		（3）findall配合分组
			import re

			content = '<html><h1>正则表达式</h1></html>'
			p = re.compile(r'<(html)><(h1)>(.*)</\2></\1>')
			# print(p.search(content).group())
			print(p.findall(content))#[('html', 'h1', '正则表达式')]
	8、贪婪非贪婪模式
		（1）贪婪和非贪婪的却别在于匹配内容的多少。
		（2）贪婪使用*来控制匹配次数的。正则默认是贪婪。
		（3）非贪婪使用?来控制的。
		（4）在表示数量控制元字符后面加一个？，此时就表示这个数量控制符取最小值，也就是非贪婪。
	
	9.匹配模式：
		re.S ----.可以匹配换行符
		re.I----忽略大小写。

	10、万能正则匹配表达式：.*?(尽可能少匹配任意内容)配合re.S