让弹幕飞一会儿——腾讯视频弹幕(39W+)爬取实战_腾讯弹幕是走接口吗(2)

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

异常顺利，成功返回目标结果，而且是友好的JSON格式，我们用JSON来解析一下：

纳尼？结果疯狂报错：

告诉我们在35444的位置有字符问题，经过排查，发现错误的原因是解析的部分内容因为格式问题没有通过JSON语法检查，解决方法很简单，我们json.loads中strict参数变成Fasle即可：

OK，接下来遍历提取我们需要的关键数据：

#存储数据df = pd.DataFrame()#遍历获取目标字段for i in bs[ comments ]:    content = i[ content ]  #弹幕内容    name = i[ opername ]    #用户名    upcount = i[ upcount ]  #点赞数    user_degree =i[ uservip_degree ] #会员等级    timepoint = i[ timepoint ]  #发布时间    comment_id = i[ commentid ]  #弹幕ID    cache = pd.DataFrame({ 用户名 :[name], 内容 :[content], 会员等级 :[user_degree],                           评论时间点 :[timepoint], 评论点赞 :[upcount], 评论id :[comment_id]})    df = pd.concat([df,cache])

大写的EASY！要进行多页爬取，只需要在外层构造一个循环，以30为步长改变timestamp的变量即可。

03  不同集之间网址规律探究

单页、单集的规律都搞清楚了，那不同集之间的网址有什么规律呢？

第一集是这样的：

https://mfm.video.qq.com/danmu?otype=json&timestamp=15&target_id=3753912718%26vid%3Dt00306i1e62&count=80

我们把第二集的弹幕网址也暴力精简：

https://mfm.video.qq.com/danmu?otype=json&timestamp=15&target_id=3753912717%26vid%3Dx003061htl5&count=80

发现是target_id值和%3D后面一串ID（第一集是t00306i1e62，第二集是x003061htl5）的变化决定了不同的集数。（为了区分，我们把后面那一串ID叫做后缀ID）

而难点就在于他们之间没有像timestamp那样明显的规律可循，弹幕内容所在的网址本身又没有任何关于两个ID的信息。

所以，我们必须跳出碗来找线索，看看有没有又大又黑的锅装这些碗（目的在于找到存储target_id和后面不规则ID的那口大锅）。

1、找到后缀ID

这个时候，需要一些常识来开路了。我们发现播放视频的时候，在播放屏右边总会显示全部集数：

点击对应的集数就会进行相应的换集跳转，所以我们有理由相信ID相关的锅藏在其中。重新刷新网页，很容易找到了他们的踪迹：

可以看到，上面截图中第一集的ID“t00306i1e62”对应着我们前面找到的规律（后缀ID）。打开任意一集，发现1-30集和31-46集相关的后缀ID都分别存储在两个相邻的网页。

所以，我们先尝试拿下所有的后缀ID、对应剧集名称、播放量和集数：

​​​​​

#打开任意一集，1-30和31-46存储在两个网页part1_url =  https://union.video.qq.com/fcgi-bin/data?otype=json&tid=682&appid=20001238&appkey=6c03bbe9658448a4&idlist=b0030velala,t00306i1e62,x003061htl5,b0030velala,w0030ilim7z,i0030r7v63u,z003044noq2,m0030sfinyr,c0030u884k7,k0030m5zbr7,l0030e5nglm,h0030b060vn,j003090ci7w,n0030falyoi,s00308u9kwx,p0030fohijf,g00303ob0cx,v0030960y6n,x0030bl84xw,v0030keuav1,t0030kups1i,n0030y2o52i,x0030s52mev,d0030xuekgw,o0030md1a2a,x0030peo3sk,d00303l5j4k,t0030aexmnt,a0030ybi45z,y0030wpe2wu&callback=jQuery19101240739643414368_1553238198070&_=1553238198071 part2_url =  https://union.video.qq.com/fcgi-bin/data?otype=json&tid=682&appid=20001238&appkey=6c03bbe9658448a4&idlist=t0030epjqsi,g003035mi84,n00301fxqbh,h0030zivlrq,d0030qc1yu2,m0030q9ywxj,h0030j0eq19,j0030jks835,t0030owh5uu,e0030xbj246,a00308xw434,l0030tb319m,a0030mhntt6,t0030wnr3t9,l0030t7o64e,b0030i9bi3o,m0030yklk6j,z0030tgz3pp,r00307wgnly,o00306b4zax,k00309i6ul6,j00304eu73n,v08521l667a,u0851gzzoqi,a0852328197,k0852mb3ymt,v00308p65xf,z08527pia6g,z08520difig,z0852ybpxn0&callback=jQuery19101240739643414368_1553238198072&_=1553238198073 base_info  = pd.DataFrame()for url in [part1_url,part2_url]:    html = requests.get(url,headers = headers)    bs = json.loads(html.text[html.text.find( { ):-1])        for i in bs[ results ]:        #后缀ID        v_id = i[ id ]        #这一集的名字，比如“都挺好_01”        title = i[ fields ][ title ]        #播放量        view_count = i[ fields ][ view_all_count ]        #整型存储的集数，片花则为0        episode = int(i[ fields ][ episode ])        #去掉片花，只留下正片        if episode == 0:            pass        else:            cache = pd.DataFrame({ id :[v_id], title :[title], 播放量 :[view_count], 第几集 :[episode]})            base_info = pd.concat([base_info,cache])

OK，非常顺利。

目前来说我们拿到了所有的后缀ID，但还是缺少target_id，无法构造完整的网页进行自动循环爬取。而我们在这两个网页中找不到任何和target_id有关的信息，真让人头大！

2、死磕target_id

每当没有头绪的时候，我总是想起莎翁的那句：

“一切过往，皆为序章”

反之，一切序章，皆有过往，正在发生或者已经发生的万事万物一定有迹可循。

我们心心念念的target_id一定在某个动态网页中记录着。

这个时候就需要耐心的筛选了，最后，我们发现，单集的target_id，隐藏在XHR下的一个"regist"开头的动态网址中：

仔细观察，他是一个POST请求

传递的参数如下：

翻了N集来对比，我们发现不同集数之间网址变化的只有传入的这个“vecIdList”，里面的参数正是我们上一步获取的那些后缀ID。

真相渐渐浮出水面。

3、思路梳理：

• 第一步，我们搞清楚了单集内部弹幕网址的动态变化，只需要改变timestamp的值即可循环爬取单集所有内容。
• 第二步，发现要自动爬取每一集，必须先找到构造网址的target_id和后缀的ID
• 第三步，任意一集网页中都能直接找到所有剧集的后缀ID（我们已经拿下了所有的后缀ID），但是却只能在一集中找到单集的一个target_id。
• 第四步，也就是接下来的一步，我们可以基于已经爬到的后缀ID，去循环访问每一集，拿到单集对应的target_id，这样就能构造出完整的弹幕网页所需的ID们了。

说干就干，循环爬取target_id：

#定义爬取单集target_id的函数#只需要向函数传入v_id（后缀ID）和headersdef get_episode_danmu(v_id,headers):    #target_id所在基础网址    base_url =  https://access.video.qq.com/danmu_manage/regist?vappid=97767206&vsecret=c0bdcbae120669fff425d0ef853674614aa659c605a613a4&raw=1     #传递参数，只需要改变后缀ID    pay = {"wRegistType":2,"vecIdList":[v_id],       "wSpeSource":0,"bIsGetUserCfg":1,       "mapExtData":{v_id:{"strCid":"wu1e7mrffzvibjy","strLid":""}}}        html = requests.post(base_url,data = json.dumps(pay),headers = headers)    bs = json.loads(html.text)    #定位元素    danmu_key = bs[ data ][ stMap ][v_id][ strDanMuKey ]    #解析出target_id    target_id = danmu_key[danmu_key.find( targetid ) + 9 : danmu_key.find( vid ) - 1]    return [v_id,target_id]info_lst = []#循环获取后缀ID并传递for i in base_info[ id ]:    #得到每一集的后缀ID和target_id    info = get_episode_danmu(i,headers)    print(info)    info_lst.append(info)    time.sleep(3 + random.random())

当当当当~结果如下：（截取了部分）

我们终于集齐了构成单页弹幕网址所需的target_id，后缀ID，只需要构造两个循环就可以实现完整的弹幕爬取（第一个循环构造每一集的基础网页，第二个循环构造单集内的弹幕页数）。

目前来说，对于弹幕爬取（腾讯视频），单纯的headers伪装就能够畅通无阻，但也建议大家文明爬取，理性分析 ：）

至此，我们锅、碗和面都已经准备到位了，再把刚才各模块写的精简一些，然后就可以酣畅淋漓的吃大碗宽面了。

Skrrrrrrrrrrr~

最后附上完整代码：

import requestsimport jsonimport pandas as pdimport osimport timeimport random



### 最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

#### 👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

![](https://img-blog.csdnimg.cn/img_convert/604bae65027d4d67fb62410deb210454.png)

#### 👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

![](https://img-blog.csdnimg.cn/img_convert/fa276175617e0048f79437bd30465479.png)



#### 👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

![](https://img-blog.csdnimg.cn/img_convert/16ac689cb023166b2ffa9c677ac40fc0.png)



#### 👉实战案例👈



学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。



因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

![](https://img-blog.csdnimg.cn/img_convert/0d8c31c50236a205928a1d8ae8a0b883.png)



#### 👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![](https://img-blog.csdnimg.cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**