奥运会国家队都是什么神仙颜值啊！Python带你来揭秘！真的超美！(1)

首先我们打开B站找到我们要找的视频。

F12打开浏览器开发者模式，找到如下链接。

经过测试发现，目前它是通过Js经行渲染的，想通了这一点，那就可以马上去找接口了。

可以看到我们所有爬取的评论信息全在在一个不规则的json文件当中

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496820&jsonp=jsonp&next=2&type=1&oid=674425220&mode=3&plat=1&_=1627894506606

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496821&jsonp=jsonp&next=3&type=1&oid=674425220&mode=3&plat=1&_=1627894508981

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496822&jsonp=jsonp&next=4&type=1&oid=674425220&mode=3&plat=1&_=1627894510667

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496823&jsonp=jsonp&next=5&type=1&oid=674425220&mode=3&plat=1&_=1627894567580

从上面的URL地址以及图片，可以看出一共有8个查询参数。

callback：每加载出一次便加1操作。

next：每加载一次便加1操作，next是从0开始加载的。

_：13位的时间戳。‍‍‍‍‍‍‍‍‍‍‍‍

发送请求

我们首先模拟浏览器来发送请求获取到这个json数据集，然后获取具体的

评论者、行呗、评论时间、点赞人数和具体的评论内容

url = f’https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}’

headers = {

“cookie”: “_uuid=BA408FD2-1B4E-DCB0-1CBE-71233AE9FB2918358infoc; buvid3=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; sid=ld1hsb9h; fingerprint=84acc3579a53d0eba78d769e71574df6; buvid_fp=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; buvid_fp_plain=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; DedeUserID=434541726; DedeUserID__ckMd5=448fda6ab5098e5e; SESSDATA=40011147%2C1643348516%2Ce493c*81; bili_jct=1d136ab44a600313299942bf8f6b8f95; CURRENT_FNVAL=80; blackside_state=1; rpdid=|(u)YJR_R)m0J’uYk~~mY~Y); bsource=search_baidu; PVID=1; bfe_id=393becc67cde8e85697ff111d724b3c8”,

‘referer’: ‘https://www.bilibili.com/video/BV1uU4y1H7wL’,

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.8 Safari/537.36’

}

resp = requests.get(url, headers=headers)

ic(resp.text)

前面说到我们获取的这个json格式的数据集不是一个标准的json

就是因为前面多了一串

‘jQuery172009047692616139114_1627891325400’

所以我们先将获取到的数据集转为标准的json格式。

如下：

获取resp响应

text = resp.text[42:-1]

转换json格式

json_data = json.loads(text)

获取所有评论

datas = json_data[‘data’][‘replies’]

ic(datas)

接下来我们要获取的就是那些评论信息等

for item in datas:

评论者

name = item[‘member’][‘uname’]

性别

sex = item[‘member’][‘sex’]

评论时间

ctime = item.get(‘ctime’)

content_time = time.strftime(‘%Y-%m-%d %H:%M’, time.localtime(ctime))

点赞人数

star = item[‘like’]

评论内容

cmts = item[‘content’][‘message’]

ic(name, sex, content_time, star, cmts)

实现翻页爬取

在前面所描述的内容，都只是爬取一页的数据，因此，接下来我要实现类于翻页爬取的效果。

其实只要修改我上面所描述的3个查询参数即可。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！