Python爬虫-爬取腾讯小视频

这两天在爬TX的视频的原始下载地址,遇到的问题挺多,感觉这个网站的规律变化多端的,中间也忘了修改过多少次代码了,而且有时候抓包也抓不到一些想要的内容,最后也只能抓到一些像《拜托啦学妹》、《国产整蛊大师》类似的小视频,长时间的视频最后我看了一下只能拿到前五分钟的视频,现在先记录一下,供后续再研究。

我是利用Chrome直接进行抓包的,可以拿到视频的真实地址(ps.但是后续多次尝试其他小视频竟然抓不到这个真实地址,不知道什么原因):
分析-01.png

http://203.205.148.155/vhot2.qqvideo.tc.qq.com/AXTAonPSZxrOwR7IS-ihDRKKiNXe1AI29z6NWNjAUHzQ/u0559hfpsi7.mp4?sdtfrom=v1104&guid=c05f836b267c173e684cec6410185d3b&vkey=9DB055870FCCE159D79ECF6ACD62777A7783FEC58EB4D18F8B3B54164BF7085FDC5E097BF150ADBE2522011A739A844B6AF7FABF6A72D3D9C32E443A11677BBF33E4946EAB82723509823A4045888AE6C5EF367FC4E92603CFFD593945ED4CD9EC1808A02E0B98391D902371DA83641F0173E69E71E1CF50&platform=2

可以进行简化:

http://203.205.148.155/vhot2.qqvideo.tc.qq.com/u0559hfpsi7.mp4?vkey=9DB055870FCCE159D79ECF6ACD62777A7783FEC58EB4D18F8B3B54164BF7085FDC5E097BF150ADBE2522011A739A844B6AF7FABF6A72D3D9C32E443A11677BBF33E4946EAB82723509823A4045888AE6C5EF367FC4E92603CFFD593945ED4CD9EC1808A02E0B98391D902371DA83641F0173E69E71E1CF50

可以简单的分为两部分:

前半部分:http://203.205.148.155/vhot2.qqvideo.tc.qq.com
后半部分:vid.视频格式?vkey=...

vid的值可以根据输入的小视频所在的网页网址获得;而前半部分以及后半部分的vkey(同一个视频不同次请求vkey是不同的)就要根据抓其他包来获得了:

分析-02.png

可以看看抓到的这个包的返回值:

分析-03.png
前半部分可以在url中拿到(可能存在多个),后半部分可以通过keyid和fvkey拼接拿到。
然后我就再回头看如何请求这个URL,参数很多,我也进行了多次尝试:

https://vv.video.qq.com/getinfo?callback=txplayerJsonpCallBack_getinfo_502855&&charge=0&defaultfmt=auto&otype=json&guid=c05f836b267c173e684cec6410185d3b&flowid=16326941443e441cde6cc6bc8600a4e8_70201&platform=70201&sdtfrom=v1104&defnpayver=0&appVer=3.3.125&host=v.qq.com&ehost=https%3A%2F%2Fv.qq.com%2F&sphttps=1&_rnd=1507894470&spwm=4&unid=d2b03881abf611e79d19a042d42c850a&vid=u0559hfpsi7&defn=&fhdswitch=0&show1080p=0&isHLS=1&dtype=3&sphls=1&defsrc=1&_qv_rmt=4N45ERvoA10847LFR%3D&_qv_rmt2=sOgo9dd11579401rg%3D&_1507894470324=

如何拿到这些参数进行请求是个问题,而且当我想进行一些适当的参数删减的时候发现我拿到的fvkey并不是完整的(个数少了很多),在这个问题上纠结了很多,最后在搜索,把一些参数固定住,简化成这样了:

https://av.video.qq.com/getinfo?callback=JsonpCallBack&&charge=0&defaultfmt=auto&otype=json&guid=c05f836b267c173e684cec6410185d3b&platform=70201&sdtfrom=v1104&defnpayver=0&appVer=3.3.128&host=v.qq.com&ehost=https%3A%2F%2Fv.qq.com%2F&_rnd=1507969615&spwm=4&vid={}&_qv_rmt=ZHrqJgF6A10991DBb%3D&_qv_rmt2=y%2FlweBl0157665zsQ%3D&_1507969615506='.format(vid)

然后就开始写代码了:

import requests
from requests.exceptions import RequestException
import re
import json

headers={
    'Accept-Encoding':'identity;q=1, *;q=0',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Accept':'*/*',
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
}

#这一部分是为了得到网页源代码
def get_html(url):
    response=requests.get(url,headers=headers)
    try:
        if  response.status_code==200:
            return response.text
        return None
    except RequestException as e:
        print(e)
        return None

#这一部分是为了得到参数vid
def parse_part_1(url):
    try:
        vid=url.split('/')[-1].split('.')[0]
        print('解析URL第一部分vid:'+vid)
        return vid
    except Exception:
        print('解析vid失败')

#这一部分是为了得到keyid、vkey、title、pre_url
def parse_part_2(html):
    try:
        pattern=re.compile('JsonpCallBack\((.*)\)',re.S)
        data=re.search(pattern,html).group(1)
        data=json.loads(data)
        keyid=data.get('vl').get('vi')[0].get('cl').get('ci')[0].get('keyid')
        if len(keyid.split('.'))==3:
            if '10' in keyid:
                keyid=keyid.replace('10', 'p')
            else:
                keyid=list(keyid)
                keyid[12]='p'
                keyid=''.join(keyid)
        else:
            keyid=keyid
        print('解析URL第二部分keyid:'+keyid)
        vkey=data.get('vl').get('vi')[0].get('fvkey')
        print('解析URL第二部分vkey:'+vkey)
        title=data.get('vl').get('vi')[0].get('ti')
        # print('解析URL第二部分title:' + title)
        for i in range(4):
            pre_url=data.get('vl').get('vi')[0].get('ul').get('ui')[i].get('url')
            print('解析URL第二部分pre_url:'+pre_url)
            yield {
                'keyid':keyid,
                'pre_url':pre_url,
                'vkey':vkey,
                'ti':title
                   }
    except Exception:
        print('解析vkey失败')

#主程序
def main(url):
    try:
        vid=parse_part_1(url)
        if vid:
            url='https://av.video.qq.com/getinfo?callback=JsonpCallBack&&charge=0&defaultfmt=auto&otype=json&guid=c05f836b267c173e684cec6410185d3b&platform=70201&sdtfrom=v1104&defnpayver=0&appVer=3.3.128&host=v.qq.com&ehost=https%3A%2F%2Fv.qq.com%2F&_rnd=1507969615&spwm=4&vid={}&_qv_rmt=ZHrqJgF6A10991DBb%3D&_qv_rmt2=y%2FlweBl0157665zsQ%3D&_1507969615506='.format(vid)
            html=get_html(url)
            if html:
                for each in parse_part_2(html):
                    keyid=each.get('keyid')
                    pre_url=each.get('pre_url')
                    vkey=each.get('vkey')
                    title=each.get('ti')
                    url=pre_url+str(keyid)+'.mp4?vkey='+str(vkey)
                    print('=====视频:{0}=====下载URL:{1}'.format(title,url)+'\n')
    except Exception:
        print('解析视频下载URL失败')

if __name__=='__main__':
    print('温馨提醒:e.g. https://v.qq.com/x/page/g0024s8pd38.html' )
    url=input('请输入腾讯视频地址:')
    main(url)

运行后的结果,得到的下载地址有多个,可随便打开一个:

运行结果-02.png

运行结果-01.png

运行结果-04.png

运行结果-03.png

现在程序还是存在一定问题,比如keyid的讨论,比如不能得到大文件的完整视频,待后续进行研究。

阅读更多 登录后自动展开
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页