python爬虫：模拟登录新浪微博并实现cookies保存，详细讲一下rsa

前两天看了一篇大佬模拟登录淘宝的blog感觉收获颇多，刚好这两天比较闲，研究了下微博的登录方式

进入正题：

琢磨了两天找到了两种方式

1. 构造登录时提交的加密参数，比较复杂，但是切换成不常用的ip也不会出验证码，这里详细讲这种方式
2. 用selenium加载，切ip会出图形验证码，可以通过调用第三方API的方式破解，这里只写了不出验证码的情况供参考

第一种方式：

1.向’https://login.sina.com.cn/sso/prelogin.php’发送预登录的get请求
2.向’https://login.sina.com.cn/sso/login.php’发送正式登录的post请求
3.向’https://passport.weibo.com/wbsso/login?ticket=*****&ssosavestate=*****’发送get请求（****根据上一个请求响应而定，后面会说）
三步完成后进入登录状态，可以访问个人主页和做其他事情了~

• 会用到RSA加密，不了解原理的可以看一下b站李永乐老师的视频，应该相当形象

---

这里是思路，可以直接跳过看代码

1. chrome在未登录状态下打开微博，应该是这样的页面，先打开开发者模式，填写右边的用户名、密码，戳登录，页面跳转后，可以看到提交了几个POST请求（Preserve log记得勾选，否则一跳就看不到了）。最后一个明显是与登录相关，访问它不带参数的Request Url，可以到达一个比较纯净的登录接口： ‘https://login.sina.com.cn/signup/signin.php?entry=sso’
   
   2.同样打开开发者模式，用浏览器登录，提交的POST请求有两个，第一个是验证邮箱是否有效的，可以不用管；第二个就是我们的登录请求。提交的form data里有一堆参数。再重新登录一次，可以发现大部分是固定的，但是有几个参数值得注意，su, nonce, servertime, pubkey, rsakv, sp，构造出这几个参数，应该就可以顺利登录。
   
   3.检索后，发现su参数是向’https://login.sina.com.cn/sso/prelogin.php’请求时带上去的，用charles或者fiddler等抓包软件可以看到这个请求返回了一个json文件，有nonce, servertime, pubkey, rsakv的值，与POST请求提交的一致，可以肯定在正式登录之前先请求了这个url
   
   4.剩下su、sp没有解决，监听一下登陆页面的鼠标点击事件，发现一段关键代码，su参数就是由用户名经过url编码再base64转码后得来的。再往后走，sp参数也找到了，是登录密码经过rsa登录后得到的，sp详细的构造过程见代码注释
   
   
   5.所有参数都就绪了，但是发送正式登录请求返回的是一个json文件，CrossDomainUrlList里的正好是我们发送登录请求后要跳转的链接列表（在代码测试的时候会知道只有带ticket参数那个必须进行跳转

---

**这里是代码：**

from time import time
import requests
import base64
from urllib import parse
import re
import json
import rsa
import binascii
from lxml import etree
import os

# 建立一个会话对象，使cookie可以跨请求保留
SESSION = requests.session()

# cookies保留再本地的路径
COOKIES_FILE_PATH = 'weibo_login_cookies.json'


class WeiboLogin:
    def __init__(self, username, password):
        """
        需传入两个参数
        :param username:用户名
        :param password: 密码
        """
        # 预登录url
        self.pre_login_url = 'https://login.sina.com.cn/sso/prelogin.php'
        # 正式登录url
        self.login_url = 'https://login.sina.com.cn/sso/login.php'
        # 个人主页url
        self.mysina_url = 'http://my.sina.com.cn/'

        # 微博用户名
        self.username = username
        # 微博密码
        self.password = password

    def per_login(self):
        """
        预登录，此步骤仅验证用户名
        :return:正式登录时要用上的5个参数值，su,nonce,servertime,pubkey,rsakv
        """
        # su参数是用户名经过url编码和base64转码后的字符串
        su = base64.b64encode(parse.quote(username).encode('utf-8')).decode('utf-8')
        per_login_params = {
   
            'entry': "account",
            'callback': "sinaSSOController.preloginCallBack",
            'su': su,
            'rsakt': "mod",