爬虫requests高级模拟登录

知识点

## note

模拟登陆：
-爬取基于某些用户得用户信息。

需求：对人人网进行模拟登录
-点击登陆按钮发起一个POST请求
-psot请求携带登陆之前登陆的相关信息（用户，密码，验证码~~~~~~）
–验证码：每次都会动态变化
HTTP/HTTPs协议无状态。
没有请求到对应页面得原因：
发起第二次基于个人主页请求时候，服务器端不知道请求
cookie：
-手动处理：通过抓包工具获取cookie值，将该值封装到headers中
-自动处理：
-cookie值得来源？
-模拟登录时由服务器创建
1session会话对象：可以进行请求发送
2.如果请求过程中产生cookie则cookie自动存储在该seeion对象中
创建一个session对象session=requests.session()
-使用session对象进行模拟post请求发送（获取cookie）
-session对象对个人主页对应的get请求进行发送（携带cookie）
代理理论：
破解封IP这种反爬机制。
-代理服务器。
代理得作用：
-可以突破自身IP访问限制。
-可以隐藏自己真是IP。

代理相关网站：
-快代理
-西祠代理
-www.goubanjia.com
118.113.89.74
代理的IP的类型
-http：运用到http协议对应的url中

-https：运用到https协议对应的url中

代理IP匿名度：
-透明：服务器知道该次请求运用了代理，也知道本机真实IP
-匿名：知道使用代理，不知道真实IP
-高匿：不知道使用了代理，也不知道真实IP