cookie登录_selenium登录163邮箱，得到cookie,使用requests请求

1.场景

很多时候登录操作是比较复杂的,因为存在各种反爆破操作,以及为了安全性提交数据都会存在加密。如果要完全模拟代码去实现登录操作是比较复杂，并且该网站后续更新了登录安全相关功能，那么登录的模拟操作又得修改。但是通过selenium模拟人为登录的操作是永远不会过时。因此一个好得方案就是通过selenium模拟登录，然后拿到可用得Cookie通过requests进行后续得模拟请求。

2.实现代码

import time, requestsfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECdriver = webdriver.Chrome()driver.get('https://mail.163.com/')WebDriverWait(driver, 15).until(  # 显示等待,直到页面出现某个元素    EC.presence_of_element_located((By.ID, "normalLoginTab")))# 因为登录位置处于iframe中,所以要切换进去driver.switch_to.frame(driver.find_element_by_xpath("//iframe[contains(@id,'x-URS-iframe')]"))email = driver.find_element_by_name('email')password = driver.find_element_by_name('password')login = driver.find_element_by_id('dologin')email.clear()password.clear()email.send_keys('admin')password.send_keys('admin')login.click()driver.switch_to.default_content()  # 切回默认WebDriverWait(driver, 15).until(  # 显示等待,直到页面出现某个元素    EC.presence_of_element_located((By.ID, "_mail_tabitem_0_116text")))driver.find_element_by_xpath('//*[@class="nui-tree-item-text" and @]').click()time.sleep(1)  # 等一下,看看点击收件箱效果# 通过执行js语法得到cookie值,为啥不用:driver.get_cookies(),是因为得到的结果不全# 这里花了些功夫才想到可以通过js获取cookie,还是太相信driver.get_cookies()这个API了# 经验就是一条路不通,就要换条路了cookies = driver.execute_script('return document.cookie')driver.quit()  # 退出浏览器sid_flag = 'Coremail.sid='  # sid起始标识if (start := cookies.find(sid_flag)) == -1:    print('cookies:', cookies)    exit(0)start += len(sid_flag)if (end := cookies.find(';', start)) == -1:    sid = cookies[start:]  # sid在结尾else:    sid = cookies[start:end]  # sid在中间# 下面只是拿获取收件箱的请求结果,其他请求自行抓取分析url = 'https://mail.163.com/js6/s?sid=' + sid + '&func=mbox:listMessages&mbox_folder_enter=1'data = {'var': '<?xml version="1.0"?>1datetrue200falsetoptruetrue'}headers = {    'Accept': 'text/javascript',    'Accept-Language': 'zh-CN,zh;q=0.9',    'Connection': 'keep-alive',    'Content-Type': 'application/x-www-form-urlencoded',    'Sec-Fetch-Site': 'same-origin',    'Sec-Fetch-Mode': 'cors',    'Accept-Encoding': 'gzip, deflate, br',    'Host': 'mail.163.com',    'Origin': "https://mail.163.com",    'Referer': "https://mail.163.com/js6/main.jsp?sid=" + sid + "&df=mail163_letter",    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',    'Cookie': cookies}resp = requests.post(url, data, headers=headers).textprint(resp)

3.遇到问题

1. 登录元素在iframe里面导致一开始无法定位元素，切换到iframe里面即可

2. 使用driver.get_cookies()获取的cookie总是无法满足requests后续请求，最终发现该方法返回的cookie比真实的要少。最后曲线救国，通过selenium执行js方法获取cookie