Python爬虫-爬取腾讯小视频

这两天在爬TX的视频的原始下载地址，遇到的问题挺多，感觉这个网站的规律变化多端的，中间也忘了修改过多少次代码了，而且有时候抓包也抓不到一些想要的内容，最后也只能抓到一些像《拜托啦学妹》、《国产整蛊大师》类似的小视频，长时间的视频最后我看了一下只能拿到前五分钟的视频，现在先记录一下，供后续再研究。

我是利用Chrome直接进行抓包的，可以拿到视频的真实地址(ps.但是后续多次尝试其他小视频竟然抓不到这个真实地址，不知道什么原因)：

http://203.205.148.155/vhot2.qqvideo.tc.qq.com/AXTAonPSZxrOwR7IS-ihDRKKiNXe1AI29z6NWNjAUHzQ/u0559hfpsi7.mp4?sdtfrom=v1104&guid=c05f836b267c173e684cec6410185d3b&vkey=9DB055870FCCE159D79ECF6ACD62777A7783FEC58EB4D18F8B3B54164BF7085FDC5E097BF150ADBE2522011A739A844B6AF7FABF6A72D3D9C32E443A11677BBF33E4946EAB82723509823A4045888AE6C5EF367FC4E92603CFFD593945ED4CD9EC1808A02E0B98391D902371DA83641F0173E69E71E1CF50&platform=2

可以进行简化：

http://203.205.148.155/vhot2.qqvideo.tc.qq.com/u0559hfpsi7.mp4?vkey=9DB055870FCCE159D79ECF6ACD62777A7783FEC58EB4D18F8B3B54164BF7085FDC5E097BF150ADBE2522011A739A844B6AF7FABF6A72D3D9C32E443A11677BBF33E4946EAB82723509823A4045888AE6C5EF367FC4E92603CFFD593945ED4CD9EC1808A02E0B98391D902371DA83641F0173E69E71E1CF50

可以简单的分为两部分：

前半部分：http://203.205.148.155/vhot2.qqvideo.tc.qq.com
后半部分：vid.视频格式?vkey=...

vid的值可以根据输入的小视频所在的网页网址获得；而前半部分以及后半部分的vkey(同一个视频不同次请求vkey是不同的)就要根据抓其他包来获得了：

分析-02.png

可以看看抓到的这个包的返回值：

前半部分可以在url中拿到（可能存在多个），后半部分可以通过keyid和fvkey拼接拿到。