Python模拟二维码登录百度

写在前面

前段时间写了利用BDUSS到达百度首页,这一次尝试使用二维码模拟登录,目前网上能搜到的相关内容基本失效了,但是思路基本不变,无非是百度改了些参数。本文较为复杂,要求对python的requests模块以及Chrome审查元素有一定了解,我不确定自己是否能完全讲明白,讲多少是多少吧,各位看官请坐。

准备工作

二维码地址

打开Chrome浏览器,清理掉baidu.com下的所有cookie,如果没有则忽略。打开百度首页,F12审查元素,在右上角点击登录,切换到二维码登录,可以看到NetWork里面出现了一些相关内容:


在这里插入图片描述


查看getqrcode?lp=pc:


在这里插入图片描述


这里的imgurl代表二维码地址,在浏览器访问一下就能看到二维码,为了获得该地址,我们需要向该条目的Request URL发起请求:

https://passport.baidu.com/v2/api/getqrcode?lp=pc&qrloginfrom=pc

有些小伙伴可能看到Request URL包含有gid、callback等参数,这里并不需要,访问上面的地址就能获得imgurl。

登录状态

让页面停滞一会儿,可以看到出现了好多unicast开头的请求,就是用来验证二维码扫描状态的。


在这里插入图片描述


未扫描时response如下:

tangram_guid_1607686170040({"errno":1})

先分析一下需要的参数:


在这里插入图片描述


channel_id是不是看起来很熟悉?就是imgurl里面的sign,这个参数就搞定了。刷新几次页面,可以看到gid、callback、tt、_这四个参数发生了变化,仔细观察可以发现后面两个是毫秒级时间戳,callback变化的只有后面那串数字,也是毫秒级时间戳,gid等下再说。观察多个unicast请求,发现gid、callback是不变的,可以确定callback是一个默认字符串加上第一次unicast请求的时间戳,另外两项则是新的unicast请求发生时的时间戳。对比相邻的unicast的tt参数,相减得到的数值接近30000,即30s,再细心观察,新的unicast出现时是一个unsafe-url:


在这里插入图片描述


过30s左右会变成正常的Get请求,在浏览器直接访问Request URL也是在30s后得到Response(真的不是你断网了…),也就是说,二维码未被扫描的时候,每30s验证一次状态(二维码被扫描,未点击确定的时候会重新设定等待时间,也许是5s),这样的话,在使用requests发送请求时要将timeout设置为30s以上,不然无法正确验证状态。


获取gid

这个参数在getqrcode?lp=pc请求中就已经出现了,首先查看该请求调用的js文件:


在这里插入图片描述


打开setChannel对应的js,单击左下角的花括号可以让格式化输出,按Ctrl+F搜索“gid”,可以看到指向了guideRandom,再搜索guideRandom,得到如下信息:


在这里插入图片描述


需要将其转换为python代码:

#获取gid
def guideRandom():
    string = 'xxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx'
    gid = ''
    #下面是根据JavaScript代码写的
    for z in string:
        #获取0到1的随机数,并乘以16
        t = 16 * random.random()
        #如果是z是x或者y
        if z in "xy":
            #hex将数字转换为十六进制,后面的你肯定能读懂
            s = hex(int(t)) if z == "x" else hex(3 & int(t) | 8)
            #将十六进制数转换为字符串,删除前面0x
            gid += str(s).replace('0x','')
        else:
            #不是x或y则不做处理
            gid += z
    #将字符串转换为大写,返回
    return gid.upper()

另外关于callback的函数,可以在‘uni_loginv4_tangram_b55ba1e.js’中搜索‘callback’:


在这里插入图片描述


baidu.id.key是“tangram_guid”,m是时间戳加1,与上面的猜测差不多。
检测二维码扫描状态的参数分析完毕。

登录参数

用百度的app扫描二维码,但不要点确定,可以发现unicast的Response变了:


在这里插入图片描述


errno变为0,而且获取到channel_id,跟imgurl中的sign一致(我这里跟上面不一样是因为刷新了页面),还有一个status,不出意外的话,这个是用来判断用户是否点击确定的,app点击确定,再查看unicast的Response:


在这里插入图片描述


可以看到status变为0,而且多了个参数"v",这个有什么用处呢?先放着不管,去看下面这个包:


在这里插入图片描述


在这里插入图片描述


这里设置了BDUSS、PTOKEN、STOKEN三个cookie,这些就是登录成功的标志,带上这三个cookie可以访问百度的大多数产品。再看看需要的参数:


在这里插入图片描述


bduss是不是有点眼熟?没错,就是刚才unicast返回的v,而且只有这个参数比较重要,别的要么是时间戳或固定值,就算有几个是变化的(sig、shaOne、callback等),用固定值也没有什么影响。OK,参数解析完毕。


如果跳转太快抓不到包的话,在开发者工具里面:


在这里插入图片描述


将网络模式改为Slow 3G(手速比网速快的可以不改),调整完毕再点击客户端上的确定,Response发生变化时快速点击左上角的小红点停止继续抓包,就不会因为刷新页面丢失抓到的包。

代码部分

代码分为两部分,第一部分是二维码的获取及展示,第二部分是获取cookie。

二维码展示

#将关于二维码的部分封装成类
class Show(object):
    def __init__(self,imgurl):
		#创建一个子线程,用于展示二维码
		#如果不创建子线程,在二维码关闭之前程序停滞
        self.t = threading.Thread(target = self.get_img)
		#将线程设置为后台运行
        self.t.setDaemon(True)
		#二维码的网页地址
        self.imgurl = imgurl
        
    def get_img(self):
		#访问imgurl,将二维码保存到本地
        res = requests.get(url = self.imgurl,headers = headers)
        f = open('baidu.jpg','wb')
        f.write(res.content)
        f.close()
		#暂停1秒,不然加载的二维码可能比较模糊
        time.sleep(1)
		#Pillow读取二维码
        img = Image.open('baidu.jpg')
		#在窗口中显示(此时并没有真的显示,因为子线程还没有启动)
        img.show()
		#调用此函数的是python子线程,展示图片的是一个windows进程
		#使用psutil获取进程句柄,我们可以在合适的时候将该进程关掉
        for proc in psutil.process_iter():
			#前者是win10的照片查看器,后者是win7的
			#如果你的图片默认程序不是照片查看器,那么此处需要修改
			#获取方式:打开任意一张图片,任务管理器-性能-资源监视器
            if proc.name() in ['Microsoft.Photos.exe','dllhost.exe']:
                self.proc = proc
                break
    #启动子线程
    def show(self):
        self.t.start()
    #关闭二维码进程
    def close(self):
        self.proc.kill()

获取cookie

class Login(object):
	#初始化变量
    def __init__(self,login_params,check_params,show):
		#Show对象,控制二维码展示和关闭
        self.show = show
		#检查二维码扫描状态的URL
        self.check_url = 'https://passport.baidu.com/channel/unicast'
		#获取BDUSS等cookie的URL
        self.login_url = 'https://passport.baidu.com/v3/login/main/qrbdusslogin'
		#login_url的参数
        self.login_params = login_params
		#check_url的参数
        self.check_params = check_params

    #检查二维码扫描状态
    def check_status(self):
		#启动子线程在窗口展示二维码
        self.show.show()
		#将errno和status设定为1
        errno = 1
        status = 1
		#用于在while循环中关闭windows照片查看器
        flag = True
		#unicast的response不是标准json格式,需要进行正则匹配
        pattern = re.compile('({.*})')
		#开始循环
        while True:
			#访问目标地址,将timeout设置为35s
            req = requests.get(url = self.check_url,headers = passport_headers,cookies = cookie,params = self.check_params,timeout = 35)
			#替换返回值中的不合法字符,以便转换为json格式
			#菜如我只能用三个replace......
            response = req.text.replace('\\','').replace('"{',"{").replace('}"',"}")
            try:
				#如果errno或者status其中一项为1
                if errno or status:
					#将response转换为json格式
                    message = json.loads(re.search(pattern,response).group())
					#更新errno
                    errno = message['errno']
					#如果errno变为0(用户扫描二维码),并且照片查看器未关闭
                    if errno == 0 and flag:
						#关闭照片查看器,将flag设置为False
                        self.show.close()
                        flag = False
					#如果errno为0,则更新status值
                    elif errno == 0:
                        status = message['channel_v']['status']
				#如果errno和status都为0,则补充login_params的bduss字段,结束循环
                if not errno and not status:
                    message = json.loads(re.search(pattern,response).group())
                    self.login_params['bduss'] = message['channel_v']['v']
                    break
				#更新check_paramas中两个关于时间的参数
                self.check_params['tt'] = get_time()
                self.check_params['_'] = self.check_params['tt'] + 2
            except Exception as e:
                print(e)
                break
    #获取cookie
    def login(self):
		#带上完整参数请求登录地址
        login_r = requests.get(self.login_url, headers=headers, params=self.login_params,cookies = cookie)
		#将BDUSS、PTOKEN、STOKEN写入cookie
        for key in login_r.cookies.keys():
            cookie[key] = login_r.cookies[key]
        print('登陆成功,正在保存cookie')
		#将cookie保存到本地
        f = open('auth_cookie.txt','wt')
        f.write(str(cookie))
        f.close()
        print('保存完毕')

完整代码

# -*- coding: utf-8 -*-
"""
Created on Fri Dec 11 08:36:50 2020

@author: ljc545w
"""

# -*- coding: utf-8 -*-
#用到的包
#注:requests和Pillow为第三方包,需要使用pip命令安装
import requests
#时间管理带师
import time
#获取随机数
import random
#正则、json字典
import re,json
#Pillow
from PIL import Image
#线程
import threading
#进程
import psutil

#请求头
headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
        }

passport_headers = {
        'Host': 'passport.baidu.com',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36',
        'Referer': 'https://www.baidu.com/'
        }
#定义一个空字典用于保存cookie
cookie = {}

#获取毫秒级时间戳
def get_time():
    cur_time = int(round(time.time() * 1000))
    return cur_time

#获取gid
def guideRandom():
    string = 'xxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx'
    gid = ''
    #下面是根据JavaScript代码写的
    for z in string:
        #获取0到1的随机数,并乘以16
        t = 16 * random.random()
        #如果是z是x或者y
        if z in "xy":
            #hex将数字转换为十六进制,后面的你肯定能读懂
            s = hex(int(t)) if z == "x" else hex(3 & int(t) | 8)
            #将十六进制数转换为字符串,删除前面0x
            gid += str(s).replace('0x','')
        else:
            #不是x或者y则不做处理
            gid += z
    #将字符串转换为大写,返回
    return gid.upper()

#获取必要参数
def GetParams():
    #这个是百度首页
    Base_url = 'https://www.baidu.com/'
    #先获取一些固定的cookie,如BAIDUID、PSTM等
    Base_res = requests.get(url = Base_url,headers = headers)
    for key in Base_res.cookies.keys():
        #这里有一定概率引发异常,可能是因为某个cookie为空,预处理一下
        try:
            cookie[key] = Base_res.cookies[key]
        except:
            pass
    #用于登录的参数(这里还没有加入bduss)
    login_params = {
        #获取时间戳
    	'v': get_time(),
    	'u': 'https://www.baidu.com/',
        'loginVersion': 'v4',
    	'qrcode': '1',
    	'tpl': 'mn',
    	'apiver': 'v3',
        #获取时间戳
    	'tt': get_time(),
    	'traceid': None,
        #这里也是时间戳,不过是秒级,所以直接调用time方法,然后取整
        'time': round(time.time()),
        'alg':'v3',
        #下面四个参数虽然会变化,但是写死也没什么影响,实测不写都可以
        'sig': 'SXFidmJBL3NzS0lNaERoL1pzckVxaFdSS0lrSDQ5SUNPWFdjUDRhVE5rZkVOMEpzN2FpZExBTDRFejEwOFBvdw==',
        'elapsed': 18,
        'shaOne': '0011f17de7b0a1b99aa70a6f1ea881c14d404379',
    	'callback': 'bd__cbs__1sgowp',
    }
    #获取二维码地址的url
    pass_url = 'https://passport.baidu.com/v2/api/getqrcode?lp=pc&qrloginfrom=pc'
    #这里返回的是标准json格式,所以可以调用json方法而无需使用text方法
    response = requests.get(url = pass_url,headers = headers).json()
    #获取channel_id
    channel_id = response['sign']
    #拼接callback
    callback = "tangram_guid_" + str(get_time() + 1)
    #延迟0.5s,callback的时间戳与tt的时间戳相差在500左右
    time.sleep(0.5)
    #用于检查二维码扫描状态的参数
    check_params = {
        "channel_id":channel_id,
        "tpl":"mn",
        "gid":guideRandom(),
        "callback":callback,
        "apiver":"v3",
        #获取时间戳
        "tt":get_time(),
        #加不加2应该都没什么影响
        "_":get_time() + 2,
        }
    #拼接出完整的imgurl
    imgurl = "https://" + response['imgurl'].replace('\\','')
    #返回三个变量
    return imgurl,login_params,check_params

class Show(object):
    def __init__(self,imgurl):
        self.t = threading.Thread(target = self.get_img)
        self.t.setDaemon(True)
        self.imgurl = imgurl
        
    def get_img(self):
        res = requests.get(url = self.imgurl,headers = headers)
        f = open('baidu.jpg','wb')
        f.write(res.content)
        f.close()
        time.sleep(1)
        img = Image.open('baidu.jpg')
        img.show()
        for proc in psutil.process_iter():
            if proc.name() in ['Microsoft.Photos.exe','dllhost.exe']:
                self.proc = proc
                break
                
    def show(self):
        self.t.start()
                
    def close(self):
        self.proc.kill()
        
class Login(object):
    def __init__(self,login_params,check_params,show):
        self.show = show
        self.check_url = 'https://passport.baidu.com/channel/unicast'
        self.login_url = 'https://passport.baidu.com/v3/login/main/qrbdusslogin'
        self.login_params = login_params
        self.check_params = check_params
        
    def check_status(self):
        self.show.show()
        errno = 1
        status = 1
        flag = True
        pattern = re.compile('({.*})')
        while True:
            req = requests.get(url = self.check_url,headers = passport_headers,cookies = cookie,params = self.check_params,timeout = 35)
            response = req.text.replace('\\','').replace('"{',"{").replace('}"',"}")
            try:
                if errno or status:
                    message = json.loads(re.search(pattern,response).group())
                    errno = message['errno']
                    if errno == 0 and flag:
                        self.show.close()
                        flag = False
                    elif errno == 0:
                        status = message['channel_v']['status']
                if not errno and not status:
                    message = json.loads(re.search(pattern,response).group())
                    self.login_params['bduss'] = message['channel_v']['v']
                    break
                self.check_params['tt'] = get_time()
                self.check_params['_'] = self.check_params['tt'] + 2
            except Exception as e:
                print(e)
                break
            
    def login(self):
        login_r = requests.get(self.login_url, headers=headers, params=self.login_params,cookies = cookie)
        for key in login_r.cookies.keys():
            cookie[key] = login_r.cookies[key]
        print('登陆成功,正在保存cookie')
        f = open('auth_cookie.txt','wt')
        f.write(str(cookie))
        f.close()
        print('保存完毕')

#如果不想继续使用获取的cookie,可以使用这个函数      
def logout():
    #百度退出登录的url
    logout_url = 'https://passport.baidu.com/?logout'
    #从文本中读取cookie
    f = open('auth_cookie.txt','r',encoding='utf-8')
    logout_cookie = f.read()
    f.close()
    #转换为json格式。注意!!!如果文本中是单引号,要将其替换为双引号
    logout_cookie = json.loads(logout_cookie.replace("'","\""))
    #发起post请求,原本的cookie将失去作用
    requests.post(url = logout_url,headers = headers,cookies = logout_cookie)
    print('已退出登录')
        
def run():
    #获取三个重要变量
    imgurl,login_params,check_params = GetParams()
    #声明一个对象控制二维码的显示
    show = Show(imgurl)
    #将两个参数和show传递给Login类,获取用于控制登录的对象
    login = Login(login_params,check_params,show)
    #调用类中的方法,检查二维码扫描状态
    login.check_status()
    #调用类中方法获取cookie
    login.login()

#入口函数
if __name__ == '__main__':
    #logout()
    run()

写在后面

花了整整一天,暂时把百度的二维码登录搞明白了,这篇文章中的代码可能不久就会失效,我大概是不会再更新,不,是肯定不会。


这是爬虫小白对二维码登录的一次尝试,如有不足之处,恳请各位大佬批评指正。

  • 3
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
# JD_AutoBuy ## 京东抢购 Python爬虫,自动登录京东网站,查询商品库存,价格,显示购物车详情等。 可以指定抢购商品,自动购买下单,然后手动去京东付款就行。 ## chang log + 2017-03-30 实现二维码扫码登陆 ## 运行环境 Python 2.7 ## 第三方库 - [Requests][1]: 简单好用,功能强大的Http请求库 - [beautifulsoup4][2]: HTML文档格式化及便签选择器 ## 环境配置 ``` Python pip install requests pip install beautifulsoup4 ``` ## 使用帮助 ``` cmd > python scraper-jd.py -h usage: scraper-jd.py [-h] [-u USERNAME] [-p PASSWORD] [-g GOOD] [-c COUNT] [-w WAIT] [-f] [-s] Simulate to login Jing Dong, and buy sepecified good optional arguments: -h, --help show this help message and exit -u USERNAME, --username USERNAME Jing Dong login user name -p PASSWORD, --password PASSWORD Jing Dong login user password -g GOOD, --good GOOD Jing Dong good ID -c COUNT, --count COUNT The count to buy -w WAIT, --wait WAIT Flush time interval, unit MS -f, --flush Continue flash if good out of stock -s, --submit Submit the order to Jing Dong ``` ## 实例输出 ``` cmd +++++++++++++++++++++++++++++++++++++++++++++++++++++++ Thu Mar 30 17:10:01 2017 > 请打开京东手机客户端,准备扫码登陆: 201 : 二维码扫描 ,请扫描二维码 201 : 二维码扫描 ,请扫描二维码 201 : 二维码扫描 ,请扫描二维码 201 : 二维码扫描 ,请扫描二维码 202 : 请手机客户端确认登录 200 : BADACIFYhf6fakfHvjiYTlwGzSp4EjFATN3Xw1ePR1hITtw0 登陆成功 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ Thu Mar 30 17:10:28 2017 > 商品详情 编号:3133857 库存:现货 价格:6399.00 名称:Apple iPhone 7 Plus (A1661) 128G 黑色 移动联通电信4G手机 链接:http://cart.jd.com/gate.action?pid=3133857&pcount=1&ptype=1 商品已成功加入购物车! 购买数量:3133857 > 1 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ Thu Mar 30 17:10:30 2017 > 购物车明细 购买 数量 价格 总价 商品 Y 1 6399.00 6399.00 Apple iPhone 7 Plus (A1661) 128G 黑色 移动联通电信4G手机 总数: 1 总额: 6399.00 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ Thu Mar 30 17:10:30 2017 > 订单详情 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ ... ``` ## 注 代码仅供学习之用,京东网页不断变化,代
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值