学习笔记 -- Python爬虫 - cookie session 和 代理ip

#内容为视频笔记及个人理解,若有错误还望各位大佬指正

http及https特性: 无状态

当我们使用程序向服务器发出请求时, 如果页面中含有登录信息, 那么我们再次访问该页面时仍然会抛出登录提示, 因为服务器并不会记录我们在网页当中记录的操作, 这就是 无状态 (即使我们在同一个程序中已经登陆过)

cookie

用来让服务器端记录客户端的相关状态

当我们登录访问一个网页时, 服务器端会返回一个 cookie 用来识别发出请求的是谁, cookie 由服务器创建, 保存在客户端, cookie的值并不是一成不变的, 在每一次访问页面时, 都会发出一个新的cookie值

如何查看cookie值 : 在网页中 F12-->console-->JavaScript:alert (document. cookie)

好比逛超市, 买家A 在超市办了一张会员卡(那么超市会返回一个 cookie), 买家B 没有办(无状态), 当两个人下一次逛超市时, 买家A 出示会员卡(cookie), 超市工作人员会知道他是买家A , 而买家B 则不会被记住

---

如何使用cookie

cookie 的使用方法和 User-Agent 相同, 以字典格式包含在请求头信息中

手动处理 cookie 值, 通过抓包工具获取 cookie 的值并封装在请求头信息中

header = { "cookie" : "………………" }

手动处理非常不便, 因此我们可以在程序直接获取 cookie 的值并使用

session 会话对象

session 可以向服务器发送请求, 如何请求过程中产生了 cookie , 则该 cookie 会被自动存储在该 session 对象中

1. 使用 session 对象进行模拟登录 post 请求的发送(返回的 cookie 会被保存在 session 中)
2. session 对象对网页发出 get 请求, 此时发出的请求会携带 cookie 的值

创建 session 对象
session = requests.Session()    # Session() 方法会返回一个 session 的对象
page = session.post(url, headers, data)       # 使用 session 向服务器发出请求
print(page.status_code)         # 响应对象.status_code 可以返回其状态码

new_page = session.get(url, headers)  # 此时使用 session 向服务器发出请求会自动携带上一次访问时服务器返回的 cookie 值

---

代理IP

当我们频繁的向网页发出请求时, 如果超出了设定的阈值, 很有可能会出现 封IP 的情况, 为了避免这种情况发生, 需要用到 代理IP

即使用到 代理IP 也建议不要过度的去访问或爬取某个网页的信息, 不仅会对该网页产生巨大的负担, 严重甚至会导致崩溃(尤其个人网页, 部分小公司的网站等)

代理IP的分类

• http : 只能用来访问 http 的网页
• https : 只能用来访问 https 的网页

匿名度的分类

• 透明 : 发出请求时, 网页知道真实的 IP地址, 也知道使用了 代理IP
• 匿名 : 发出请求时, 网页不知道真实的 IP地址, 但是知道使用了 代理IP
• 高匿 : 发出请求时, 网页不知道真实的 IP地址, 也不知道是否使用了 代理IP

代理IP的使用

以字典的形式传入请求中

• 如果类型为 http

  • {“http” : “************”} <–IP地址

• 类型为 https

  • {“https” : “************”} <–IP地址

import requests


url = "https://www.baidu.com/s?wd=ip"
headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36"
}

proxies = {
    "http" : "***********"  <-- # 填写IP地址
}

page = requests.get(url=url, headers=headers, proxies=proxies) # 传参时使用 proxies
with open("xiaoming.html", "w", encoding="utf-8") as fp:
    fp.write(page.text)