视频网站的接口解析

先把代码放上来

import base64
import hashlib
import json
import re
import time
import requests
import urllib3

urllib3.disable_warnings()


def get_data(url, utid):
    """
    生成data参数
    :param url: 视频地址
    :return:
    """
    # 从连接中获取vid
    vid = url.split('id_')[-1].split('.')[0]
    # 获取部分url用于生成加密参数
    url_ = url.split('//')[-1].split('?')[0]
    # base64 加密
    emb = base64.b64encode(("809715843" + url_).encode('utf-8')).decode('utf-8')
    data = {"biz_params": {"vid": vid},
            "ad_params": {
                "atm": "",
                "aw": "w",
                "bt": "pc",
                "d": "0",
                "dq": "auto",
                "emb": emb,
                "fu": "0",
                "isvert": "0",
                "needbf": "2",
                "os": "win",
                "osv": "10",
                "p": "1",
                "partnerid": "null",
                "pver": "0.6.16",
                "rst": "mp4",
                "site": "1",
                "sver": "1.1",
                "vip": "0",
                "vs": "1",
                "wintype": "interior"
            },
            "steal_params": {
                "ccode": "0502",
                "client_ip": "192.168.1.1",
                "client_ts": str(round(time.time() * 1000)),
                "utid": utid,
                "version": "0.6.16",
                "ckey": "DIl58SLFxFNndSV1GFNnMQVYkx1PP5tKe1siZu/86PR1u/Wh1Ptd+WOZsHHWxysSfAOhNJpdVWsdVJNsfJ8Sxd8WKVvNfAS8aS8fAOzYARzPyPc3JvtnPHjTdKfESTdnuTW6ZPvk2pNDh4uFzotgdMEFkzQ5wZVXl2Pf1/Y6hLK0OnCNxBj3+nb0v72gZ6b0td+WOZsHHWxysSo/0y9D2K42SaB8Y/+aD2K42SaB8Y/+ahU+WOZsHcrxysooUeND"
            }
            }
    data_ = dict()
    # 将参数json化
    for key, value in data.items():
        data_[key] = json.dumps(value)
    return json.dumps(data_)


def get_all_parameter(data_, token=''):
    """
    获得所有参数
    :param data_: data参数
    :param token: token参数
    :return:
    """
    t = str(round(time.time() * 1000))
    data = {
        'jsv': '2.5.0',
        'appKey': '24679788',
        't': t,
        'api': 'mtop.youku.play.ups.appinfo.get',
        'v': '1.1',
        'sign': get_sign(t, data_, token),
        'timeout': '20000',
        'YKPid': '20160317PLF000211',
        'YKLoginRequest': 'true',
        'AntiFlood': 'true',
        'AntiCreep': 'true',
        'type': 'jsonp',
        'dataType': 'jsonp',
        'callback': 'mtopjsonp1',
        'data': data_
    }
    return data


def get_sign(t, data, token):
    """
    :param t: 13位时间戳
    :param data: 请求时的参数data
    :param token: 从cookie中获得
    :return: 加密后的sign
    """
    appKey = '24679788'
    sign = token + '&' + t + '&' + appKey + '&' + data
    md5 = hashlib.md5()
    md5.update(sign.encode('UTF-8'))
    sign = md5.hexdigest()
    return sign


def get_interface(url, utid, session, headers, proxies=None):
    # 支持代理和无代理两种请求
    """
    获取视频借口内容
    :param url: 视频连接
    :return:
    """
    data_ = get_data(url, utid)
    data = get_all_parameter(data_)
    url = 'https://acs.youku.com/h5/mtop.youku.play.ups.appinfo.get/1.1/'
    if not proxies:
        response = session.get(url, params=data, verify=False, headers=headers)
    else:
        response = session.get(url, params=data, verify=False, headers=headers, proxies=proxies)
    # print(response.text)
    if '令牌为空' in response.text:
        # 从cookie中获取token
        token = response.cookies['_m_h5_tk'].split('_')[0]
        print("获取token", token)
        data = get_all_parameter(data_, token=token)
        data['callback'] = 'mtopjsonp1'
        # 请求接口
        if not proxies:
            response = session.get(url, params=data, verify=False, headers=headers)
        else:
            response = session.get(url, params=data, verify=False, headers=headers, proxies=proxies)

    return response.text


def parse(url, utid):
    result = ''
    times = 1
    headers = {
        'Host': "acs.youku.com",
        'Connection': "keep-alive",
        'Pragma': "no-cache",
        'Cache-Control': "no-cache",
        'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/72.0.3626.119 Safari/537.36",
        'Accept': "*/*",
        'Referer': url,
        'Accept-Encoding': "gzip, deflate, br",
        'Accept-Language': "zh-CN,zh;q=0.9",
        'cache-control': "no-cache",
    }
    while times:
        session = requests.Session()
        proxies = {}
        time.sleep(5)
        try:
            result = get_interface(url, utid, session, headers)
        except:
            result = ''
        if len(result) > 10000:
            break
        else:
            times -= 1
    print(result)


def get_utid():
    t = int(time.time() * 1000)
    url = 'https://log.mmstat.com/eg.js?t={}'.format(t)
    headers = {
        'authority': 'log.mmstat.com',
        'method': 'GET',
        'path': '/eg.js',
        'scheme': 'https',
        'accept': '*/*',
        'accept-encoding': 'gzip, deflate, br',
        'accept-language': 'zh-CN,zh;q=0.9',
        'referer': 'https://v.youku.com/',
        'sec-fetch-dest': 'script',
        'sec-fetch-mode': 'no-cors',
        'sec-fetch-site': 'cross-site',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
    }
    resp = requests.get(url, headers=headers)
    print(resp.text)
    utid = re.search('Etag="(.*?)"', resp.text, re.S).group(1).strip()
    return utid


if __name__ == '__main__':
    utid = get_utid()
    print('访问链接获取', utid)
    parse('https://v.youku.com/v_show/id_XNDA4NTM4NTQwMA==.html', utid)
    print('使用selenium获取')
    utid = 'dAPfGLzvZ2ICAbcOhzje/chE'
    parse('https://v.youku.com/v_show/id_XNDA4NTM4NTQwMA==.html', utid)

一些参数的加解密就不多做介绍了，在一些博主的文章里有很详细的逆向思路和解析。

这里主要说一下，如果有大量的类似访问，导致接口返回异常的分析。

在程序入口，parse方法传入两个参数，一个是url，没啥好说的，另一个就是要分析的主角之一：utid。

utid相当于该网站给每个用户生成的唯一id，那它是如何生成的呢？

我们先打开一个无缓存的浏览器。

要先打开下方的抓包界面

输入URL回车，看看发起了哪些请求：

如上图，有个https://log.mmstat.com/eg.js，右侧被标记的，就是代码里的utid。

为什么要把这个utid单独拿出来说呢。

优酷对于该接口的访问有两个判断

1，某个ip高频次的访问，该接口会报异常，返回无用的数据

2，某个utid高频次的访问，该接口会报异常，返回用户账号异常

那么针对第一种情况，我们可以使用代理绕过。

第二种情况，就需要更换utid了。

上面介绍说，使用https://log.mmstat.com/eg.js去获取utid，可行吗？

经过试验，是不可行的，对https://log.mmstat.com/eg.js进行请求，无论如何构造请求头，或者使用代理获取utid，都能正常获取到utid。

但是，获取到的utid确是不可用的，使用上述方法获取到的utid去访问接口，依旧无法获取到数据。

那，如果真的对该目标接口需要大量的访问，而没有utid，该怎么办呢。

简单，上面也说了，使用无缓存的浏览器打开页面就会产生一个utid，这个utid是可用的。那我们只需要一直打开无缓存的浏览器，获取utid，把utid保存下来，当我们有足够的utid，理论上就可以达到我们的目的。

可是，当某个ip高频次的打开浏览器访问链接，那么浏览器页面也会弹出警告，提示登录。

于是，我们想到了代理。

思路就有了，使用隧道代理+selenium+chromedriver，执行打开模拟器访问该网站页面，utid就在cookie里，获取cookie里的utis存库，在使用的时候随机取，就可以达到我们的目的。

seleniu+隧道代理+chromedriver的使用方法：https://blog.csdn.net/s_kangkang_A/article/details/115323462 在代码中我写了一个对比，获取到的数据如下：

很明显验证了上面的所述。

还有一个主角，session

在代码中，请求用到了session，这是必不可少的，因为保持状态的访问才能获取到重要参数，token

 

 

 

重要更新

从 https://log.mmstat.com/eg.js 获取的utid真的不可用吗？为什么？怎么使之变得可用？

请看分析：https://blog.csdn.net/s_kangkang_A/article/details/116754192