让弹幕飞一会儿——腾讯视频弹幕(39W+)爬取实战_腾讯弹幕是走接口吗(1)

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

https://mfm.video.qq.com/danmu?otype=json&timestamp=45&target_id=3753912718%26vid%3Dt00306i1e62&count=80

对比很容易找到规律，从第一页到第二页，timestamp值从15变到了45，其他部分没有任何变化，我有一个大胆的猜测，这个timestamp值是控制页数的变量，并且是30秒更新一次弹幕。

那一级有多少页呢？我们把进度条拉到影片结束的边缘，发现最后一页的网址的timestamp的值变成了2565。

整个过程，我们只需要构造步长为30的循环变量来替换timestamp参数就可以实现批量访问了。

到这里，单集中弹幕动态更新的规律我们已经探究清楚，下面来对单个页面进行解析。

(PS：其实大碗宽面的逻辑下，我们这个时候应该再继续对比不同集数之间网址变化规律，并找到规律本身，但考虑到内容实操性与可读性，我们不妨把这一块往后稍稍）

02  解析单页弹幕内容

以第一集第一页的弹幕为例，我们只进行简单的headers伪装，进行访问尝试：

异常顺利，成功返回目标结果，而且是友好的JSON格式，我们用JSON来解析一下：

纳尼？结果疯狂报错：

告诉我们在35444的位置有字符问题，经过排查，发现错误的原因是解析的部分内容因为格式问题没有通过JSON语法检查，解决方法很简单，我们json.loads中strict参数变成Fasle即可：

OK，接下来遍历提取我们需要的关键数据：

#存储数据df = pd.DataFrame()#遍历获取目标字段for i in bs[ comments ]:    content = i[ content ]  #弹幕内容    name = i[ opername ]    #用户名    upcount = i[ upcount ]  #点赞数    user_degree =i[ uservip_degree ] #会员等级    timepoint = i[ timepoint ]  #发布时间    comment_id = i[ commentid ]  #弹幕ID    cache = pd.DataFrame({ 用户名 :[name], 内容 :[content], 会员等级 :[user_degree],                           评论时间点 :[timepoint], 评论点赞 :[upcount], 评论id :[comment_id]})    df = pd.concat([df,cache])

大写的EASY！要进行多页爬取，只需要在外层构造一个循环，以30为步长改变timestamp的变量即可。

03  不同集之间网址规律探究

单页、单集的规律都搞清楚了，那不同集之间的网址有什么规律呢？

第一集是这样的：

https://mfm.video.qq.com/danmu?otype=json&timestamp=15&target_id=3753912718%26vid%3Dt00306i1e62&count=80

我们把第二集的弹幕网址也暴力精简：

https://mfm.video.qq.com/danmu?otype=json&timestamp=15&target_id=3753912717%26vid%3Dx003061htl5&count=80

发现是target_id值和%3D后面一串ID（第一集是t00306i1e62，第二集是x003061htl5）的变化决定了不同的集数。（为了区分，我们把后面那一串ID叫做后缀ID）

而难点就在于他们之间没有像timestamp那样明显的规律可循，弹幕内容所在的网址本身又没有任何关于两个ID的信息。

所以，我们必须跳出碗来找线索，看看有没有又大又黑的锅装这些碗（目的在于找到存储target_id和后面不规则ID的那口大锅）。

1、找到后缀ID

这个时候，需要一些常识来开路了。我们发现播放视频的时候，在播放屏右边总会显示全部集数：

点击对应的集数就会进行相应的换集跳转，所以我们有理由相信ID相关的锅藏在其中。重新刷新网页，很容易找到了他们的踪迹：

可以看到，上面截图中第一集的ID“t00306i1e62”对应着我们前面找到的规律（后缀ID）。打开任意一集，发现1-30集和31-46集相关的后缀ID都分别存储在两个相邻的网页。

所以，我们先尝试拿下所有的后缀ID、对应剧集名称、播放量和集数：

​​​​​

#打开任意一集，1-30和31-46存储在两个网页part1_url =  https://union.video.qq.com/fcgi-bin/data?otype=json&tid=682&appid=20001238&appkey=6c03bbe9658448a4&idlist=b0030velala,t00306i1e62,x003061htl5,b0030velala,w0030ilim7z,i0030r7v63u,z003044noq2,m0030sfinyr,c0030u884k7,k0030m5zbr7,l0030e5nglm,h0030b060vn,j003090ci7w,n0030falyoi,s00308u9kwx,p0030fohijf,g00303ob0cx,v0030960y6n,x0030bl84xw,v0030keuav1,t0030kups1i,n0030y2o52i,x0030s52mev,d0030xuekgw,o0030md1a2a,x0030peo3sk,d00303l5j4k,t0030aexmnt,a0030ybi45z,y0030wpe2wu&callback=jQuery19101240739643414368_1553238198070&_=1553238198071 part2_url =  https://union.video.qq.com/fcgi-bin/data?otype=json&tid=682&appid=20001238&appkey=6c03bbe9658448a4&idlist=t0030epjqsi,g003035mi84,n00301fxqbh,h0030zivlrq,d0030qc1yu2,m0030q9ywxj,h0030j0eq19,j0030jks835,t0030owh5uu,e0030xbj246,a00308xw434,l0030tb319m,a0030mhntt6,t0030wnr3t9,l0030t7o64e,b0030i9bi3o,m0030yklk6j,z0030tgz3pp,r00307wgnly,o00306b4zax,k00309i6ul6,j00304eu73n,v08521l667a,u0851gzzoqi,a0852328197,k0852mb3ymt,v00308p65xf,z08527pia6g,z08520difig,z0852ybpxn0&callback=jQuery19101240739643414368_1553238198072&_=1553238198073 base_info  = pd.DataFrame()for url in [part1_url,part2_url]:    html = requests.get(url,headers = headers)    bs = json.loads(html.text[html.text.find( { ):-1])        for i in bs[ results ]:        #后缀ID        v_id = i[ id ]        #这一集的名字，比如“都挺好_01”        title = i[ fields ][ title ]        #播放量        view_count = i[ fields ][ view_all_count ]        #整型存储的集数，片花则为0        episode = int(i[ fields ][ episode ])        #去掉片花，只留下正片        if episode == 0:            pass        else:            cache = pd.DataFrame({ id :[v_id], title :[title], 播放量 :[view_count], 第几集 :[episode]})            base_info = pd.concat([base_info,cache])

OK，非常顺利。

目前来说我们拿到了所有的后缀ID，但还是缺少target_id，无法构造完整的网页进行自动循环爬取。而我们在这两个网页中找不到任何和target_id有关的信息，真让人头大！

2、死磕target_id

每当没有头绪的时候，我总是想起莎翁的那句：

“一切过往，皆为序章”

反之，一切序章，皆有过往，正在发生或者已经发生的万事万物一定有迹可循。

我们心心念念的target_id一定在某个动态网页中记录着。

这个时候就需要耐心的筛选了，最后，我们发现，单集的target_id，隐藏在XHR下的一个"regist"开头的动态网址中：

仔细观察，他是一个POST请求

传递的参数如下：

翻了N集来对比，我们发现不同集数之间网址变化的只有传入的这个“vecIdList”，里面的参数正是我们上一步获取的那些后缀ID。

真相渐渐浮出水面。

3、思路梳理：

• 第一步，我们搞清楚了单集内部弹幕网址的动态变化，只需要改变timestamp的值即可循环爬取单集所有内容。
• 第二步，发现要自动爬取每一集，必须先找到构造网址的target_id和后缀的ID
• 第三步，任意一集网页中都能直接找到所有剧集的后缀ID（我们已经拿下了所有的后缀ID），但是却只能在一集中找到单集的一个target_id。
• 第四步，也就是接下来的一步，我们可以基于已经爬到的后缀ID，去循环访问每一集，拿到单集对应的target_id，这样就能构造出完整的弹幕网页所需的ID们了。

说干就干，循环爬取target_id：

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！