'cookie': "填写自己对应的网页cookie"
}
async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(ssl=False), trust_env=True) as session:
while True:
async with session.get(url=url, headers=headers, timeout=8) as response:
# 更改相应数据的编码格式
response.encoding = 'utf-8'
# 遇到IO请求挂起当前任务,等IO操作完成执行之后的代码,当协程挂起时,事件循环可以去执行其他任务。
page_text = await response.text()
print(f"{url.split('=')[-1]}爬取完成!")
break
return save_to_csv(page_text)
**数据解析与存储**
从上面图中的内容可以看到,数据结构还是有点复杂的,这里我根据个人兴趣提取了一部分感兴趣的字段,大部分评论具有回复内容,这里只采集第一级评论的回复,数据保存时要注意 `DataFrame` 的表头不要重复保存。
def save_comment(df, dic, rep=False):
message = dic[‘content’][‘message’] if not rep else dic[‘content’][‘message’].split(‘:’, 1)[-1]
df = df.append({‘ctime’:dic[‘ctime’],
‘like’:dic[‘like’],
‘uname’:dic[‘member’][‘uname’],
‘sex’:dic[‘member’][‘sex’],
‘current_level’:dic[‘member’][‘level_info’][‘current_level’],
‘message’:message},
ignore_index=True)
def save_to_csv(page_text):
df = pd.DataFrame({‘ctime’: [], ‘like’: [], ‘uname’: [], ‘sex’: [],
‘current_level’: [], ‘message’: []})
data = json.loads(page_text)
comment = data[‘data’][‘replies’]
for dic in comment:
save_comment(df, dic)
if dic[‘replies’] != None:
for reply in dic[‘replies’]:
save_comment(df, reply, rep=True)
header = False if Path(r’C:\Users\pc\Desktop\bilibili.csv’).is_file() else True
df.to_csv(r’C:\Users\pc\Desktop\bilibili.csv’, header=header, index=False, mode=‘a’)
print(‘成功保存:’ + str(len(df)) + ‘条’)
**完整源码文末获取**
#### 数据可视化
写文时间确实不多,只有用 `Tableau` 简单可视化一下了!
**热评发布时间分布**

可以看到热评发布时间集中在 11月6日下午5-6点,基本占了整个热评池的一半左右。
**评论热度排行**

下面看一下热度排名前三的评论:
>
> jiejie:像scout说实话,我真的很想给他一个冠军你知道吗?
> 他在edg打了那么久,我很想去给他一个冠军,我其实我是幻想过,我们一起在冰岛打到最后,我们一起捧奖杯的那个画面,我们六个,芙兰朵,viper,妹扣,俊嘉,如果厂长小象能来的话,我们八个人一起捧起召唤师奖杯。
> lpl是最牛逼的,没有之一!
> ————点赞数104089
>
>
>
>
> 也许有一天,我说也许,也许有一天,我们再次对英雄联盟电子竞技失去了信心。因为韩国的宰治,从四强赛看来,已卷土重来。
> 但我觉得不是今天。
> 也许有一天,这些我们所熟知的热爱的选手,没有办法坚持在舞台上了。
> 但也不是今天。
> 今天,EDG浴血奋战!不破不立!来迎战LCK一号种子DK战队,我们准备进入召唤师峡谷!77777!!![打call][打call][打call]
> ————点赞数67413
>
>
>
>
> 骑士拔剑,攘除外敌,重建王朝。
> 我懂了是亚瑟王传说!
> ————点赞数37223
>
>
>
**评论人群等级**

大佬是真的多呀,2级的只有2%左右!5级6级大佬占了73%,4级的我瑟瑟发抖。。
**评论人群性别比例**

评论中男女占比 5:1 ,男生还是主力军!
**合成看板**

---

**源码获取**
**添加本人微信,备注【交流群】, 拉你进Python交流群👇🏻**

👇🏻
**关注小卡片,获取本文【爬取源码,Tableau源文件,词云图绘制源码】** 👇🏻
还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!
王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。
对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!
【完整版领取方式在文末!!】
***93道网络安全面试题***



内容实在太多,不一一截图了
### 黑客学习资源推荐
最后给大家分享一份全套的网络安全学习资料,给那些想学习 网络安全的小伙伴们一点帮助!
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
😝朋友们如果有需要的话,可以联系领取~
#### 1️⃣零基础入门
##### ① 学习路线
对于从来没有接触过网络安全的同学,我们帮你准备了详细的**学习成长路线图**。可以说是**最科学最系统的学习路线**,大家跟着这个大的方向学习准没问题。

##### ② 路线对应学习视频
同时每个成长路线对应的板块都有配套的视频提供:

#### 2️⃣视频配套工具&国内外网安书籍、文档
##### ① 工具

##### ② 视频

##### ③ 书籍

资源较为敏感,未展示全面,需要的最下面获取

##### ② 简历模板

**因篇幅有限,资料较为敏感仅展示部分资料,添加上方即可获取👆**
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/topics/618540462)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**