EDG夺冠，用爬虫+数据分析+自然语言处理(情感分析)+数据可视化分析3万条数据：粉丝都疯了(唯一原创)

于 2021-11-12 19:49:29 发布
阅读量6.3k 收藏 176
点赞数 29
分类专栏： Python 文章标签： python 自然语言处理 数据可视化 数据分析 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44000141/article/details/121265521
版权

原创不易，本文禁止抄袭、转载，违权必究！

目录

一、EDG夺冠信息

11月6日，在英雄联盟总决赛中，EDG战队以3:2战胜韩国队，获得2021年英雄联盟全球总决赛冠军，这个比赛在全网各大平台也是备受瞩目：

1、微博热搜第一名，截止2021-11-10已有亿级观看量，微博粉丝数到达638.4万
在这里插入图片描述
2、哔哩哔哩已有几亿人气，总弹幕有22.3万，全站排行榜最高第2名，B站粉丝已有219.9万
在这里插入图片描述在这里插入图片描述
3、腾讯、爱奇艺、优酷等视频平台800万人看过

4、虎牙等直播平台热度也是居高不下

5、央视新闻也发微博庆祝EDG夺冠
在这里插入图片描述
在这里插入图片描述
既然比赛热度这么高，那么本次我们就以bilibili为基准，通过采集EDG夺冠比赛视频在哔哩哔哩的3万条弹幕数据，再通过Python来分析进而感受粉丝的热情


二、实战目标

2.1 网络爬虫

利用爬虫技术抓取EDG战队在B站夺冠比赛视频的3万条弹幕数据
在这里插入图片描述

2.2 数据可视化（词云图）

通过jieba、numpy等Python库对抓取来的弹幕数据进行分析并且可视化
在这里插入图片描述
在这里插入图片描述

2.3 自然语言处理（情感分析）

利用pandas+自然语言处理(NLP)等对EDG夺冠比赛视频的3万条弹幕数据进行情感分析，根据分析结果得出一些结论
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述



三、bilibili接口分析

首先进入EDG夺冠比赛视频URL：
https://www.bilibili.com/video/BV1EP4y1j7kV?p=1

哔哩哔哩已为大家整理好了EDG比赛视频，从开幕式到夺冠时刻，共有7个视频
在这里插入图片描述
哔哩哔哩弹幕数据接口：

http://api.bilibili.com/x/v1/dm/list.so?oid=XXX

这个接口就是B站弹幕数据专用接口，我们可以直接拿来用，这个接口中的oid可以理解为每个视频中的唯一标识符，它由数字组成，每一个视频都有唯一的一个oid，那么我们只要找到oid就可以请求相应比赛视频弹幕的API接口，从而抓取弹幕数据

获取oid
打开开发者工具，切换到Network选项，然后找到以pagelist为开头的请求接口
在这里插入图片描述
接着找到Request URL这个请求接口，打开新窗口直接用这个API接口请求，如下图：
在这里插入图片描述
当我们直接请求这个API接口时可以看到JSON格式的数据，而在里面的cid就是我们需要的oid，如下所示：

{"code":0,"message":"0","ttl":1,"data":[{"cid":437586584,"page":1,"from":"vupload","part":"第一局 4K","duration":2952,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}},{"cid":437626309,"page":2,"from":"vupload","part":"第二局 4K","duration":3031,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}},{"cid":437659159,"page":3,"from":"vupload","part":"第三局 4K","duration":3406,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}},{"cid":437727348,"page":4,"from":"vupload","part":"第四局 4K","duration":3212,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}},{"cid":437729555,"page":5,"from":"vupload","part":"第五局 4K","duration":3478,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}},{"cid":437550300,"page":6,"from":"vupload","part":"开幕式","duration":984,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}},{"cid":437717574,"page":7,"from":"vupload","part":"夺冠时刻","duration":2017,"vid":"","weblink":"","dimension":{"width":1920,"height":1080,"rotate":0}}]

当然我们也可以点击**Preview**选项，点击data，打开数据，而里面的JSON数据是**折叠**的，包括cid在内，如下图所示：

在这里插入图片描述
可以看到，每个cid对应每一个比赛视频。我们也可以点击Response选项，里面的数据是真实的数据，意味着数据没有经过折叠，与直接请求Request URL返回的JSON数据是一样的


四、编码

4.1 爬取数据

定义一个获取cid的方法

import requests
import json


def get_cid():
  url = 'https://api.bilibili.com/x/player/pagelist?bvid=BV1EP4y1j7kV&jsonp=jsonp'
  try:
    response = requests.get(url,timeout=None)
    if response is not None:
      return response.text
    else:
      return Nnone
  except Exception as e:
    print(e.args)


if __name__ == '__main__':
  data = get_cid()
  json_data = json.loads(data)
  for cid_datas in json_data['data']:
    cid = cid_datas.get('cid')
    print(cid)

控制台输出如下：

在这里插入图片描述
拼接URL弹幕数据API接口

if __name__ == '__main__':
  data = get_cid()
  json_data = json.loads(data)
  base_api = 'http://api.bilibili.com/x/v1/dm/list.so?oid='
  for cid_datas in json_data['data']:
    cid = cid_datas.get('cid')
    detail_api = base_api + str(cid)
    print(detail_api)

控制台输出如下：
在这里插入图片描述

一共有7个网址，对应7个EDG比赛视频的弹幕数据，我们点开第一个网址查看
在这里插入图片描述

抓取弹幕数据
从上一张图可以看到，每一条弹幕数据都在每一个标签中，面对这种格式我们思考一下用哪种解析工具比较合适？答案当然是正则表达式，接下来我们要获取7个比赛视频的22.3万条数据，代码如下：

base_api = 'http://api.bilibili.com/x/v1/dm/list.so?oid='
  all_api = []
  for cid_datas in json_data['data']:
    cid = cid_datas.get('cid')
    detail_api = base_api + str(cid)
    all_api.append(detail_api)
  for api in all_api:
    edg_datas = get_api_data(detail_api)
    edg_datas = re.findall('<d.*?>(.*?)</d>',edg_datas,re.S)
    with open('EDG.txt','a',encoding='utf-8') as f:
      for edg_data in edg_datas:
        print(edg_data)
        f.write(edg_data + '\n')

避免乱码，加上如下代码：

 response.encoding = chardet.detect(response.content)['encoding']

控制台输出如下：
在这里插入图片描述
由于弹幕数据共有3万条，这里仅展示EDG.txt部分弹幕数据，如下图所示：
在这里插入图片描述

4.2 数据可视化（词云图）

我们已经抓取到弹幕数据，接下来利用EDG背景图做一个词云图
在这里插入图片描述
代码如下：

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np

def do_wordcloud():
  text = open('EDG.txt','r',encoding='utf-8').read()
  text = text.replace('\n','').replace('\u3000','')
  text_cut = jieba.lcut(text)
  text_cut = ' '.join(text_cut)

  #过滤一些没有关系的词
  stop_words = ['“','，',' ','我','的','是','了','：','？','！','啊','你','吗','。','我们']

  background = Image.open("EDG.jpg")
  graph = np.array(background)

  word_cloud = WordCloud(font_path='simsun.ttc',
                         background_color='white',
                         mask=graph, # 指定词云的形状
                         stopwords=stop_words)

  word_cloud.generate(text_cut)
  plt.subplots(figsize=(12,8))
  plt.imshow(word_cloud)
  plt.axis('off')
  plt.show()
  word_cloud.to_file('edg.png')

控制台输出如下：
在这里插入图片描述
把迪迦奥特曼背景图片也制作一波吧，啊哈哈哈！
在这里插入图片描述
制作成迪迦奥特曼词云图形状，如下所示：
在这里插入图片描述

五、自然语言处理（NLP）

5.1 数据导入

data = pd.read_csv('EDG.csv')
data = data.head()
print(data)

控制台输出如下：
在这里插入图片描述

5.2 数据预处理

data = pd.read_csv('EDG.csv')
data = data[['id','content']]
data = data.head(10)
print(data)

控制台输出如下：
在这里插入图片描述


5.3 情感分析

先安装一下用于情感分析的Python库：

pip install snownlp -i https://pypi.doubanio.com/simple

效果如下：
在这里插入图片描述
情感分析
由于数据过大，这里仅看部分

from snownlp import SnowNLP
data1['emotion'] = data1['content'].apply(lambda x:SnowNLP(x).sentiments)
data1 = data1.head()
print(data1)

控制台输出：
在这里插入图片描述
情感数据描述

data1 = data1.describe()

控制台输出：
在这里插入图片描述
数据说明：emotion的平均值为0.63，中位数为0.67，25%分位数为0.49，可见不到25%的数据造成了整体均值的较大下移。另外上图的最下面可以看到，情感分析执行时间为48.8s，数据量还是挺大的。

5.4 情感分析直方图

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

bins = np.arange(0,1.1,0.1)	#设置区间
plt.hist(data1['emotion'],bins,color='#4F94CD',alpha=0.9)
plt.xlim(0,1)
plt.xlabel('情感分析')
plt.ylabel('数量')
plt.title('情感分析直方图')
plt.show()

控制台输出：
在这里插入图片描述
数据说明：

  • 由直方图可见，弹幕情感呈逐渐上升的趋势，说明粉丝对EDG夺冠情绪逐渐兴奋，很激动；
  • 近3万条弹幕数据中有约4500条弹幕情感分在[0.5，0.6区间内；同时，有约4800条弹幕情感分在[0.8，0.9]区间内，这个区间粉丝的情绪最亢奋，估计是夺冠时刻，哈哈哈！
  • 从区间[0.5，0.6]过渡到[0.6，0.7]以及从区间[0.8，0.9]过渡到[0.9，1.0]弹幕情绪出现下降，可能是因为在比赛中出现一些问题或者是比赛落幕了

5.5 关键词提取

from jieba import analyse

key_words = analyse.extract_tags(sentence=text_cut,topK=10,withWeight=True,allowPOS=())
print(key_words)

控制台输出：
在这里插入图片描述
数据说明：

  • 以上关键词显示，粉丝发的弹幕中“冠军”是最多的，然后是“翻译”，”我们”，“卧槽”，“小姐姐”，“EDG”，“泪目“，”圣枪哥“，”贺电“，”edg“，由此看来，EDG真的很受欢迎，翻译小姐姐也挺受欢迎的。这在上面的词云图中也可以看得出来

参数说明：

  • sentence是需要提取的字符串，必须是str类型，不能是list
  • topK表示提取前多少个关键字
  • withWeight表示是否返回每个关键词的权重
  • allowPOS表示允许提取的词性，默认提取地名(ns)、名词(n)、动名词(vn)、动词(v)

5.6 积极弹幕与消极弹幕

计算积极弹幕与消极弹幕各自的数目：

pos,neg = 0,0
for  i in data1['emotion']:
	if i >= 0.5:
		pos += 1
	else:
		neg += 1
print(f'积极弹幕数据为：{pos}' + '\n' + f'消极弹幕数据为：{neg}')

控制台输出：
在这里插入图片描述
积极弹幕数据为：17941
消极弹幕数据为：6054

5.7 饼图分析

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

pie_labels = 'positive','negative'
plt.pie([pos,neg],labels=pie_labels,autopct='%1.2f%%',shadow=True)

plt.show()

控制台输出：
在这里插入图片描述
由上图可见，由74.77%的弹幕数据是积极的，有25.23%的弹幕数据是消极的，总体来看，积极弹幕还是比较多的

5.8 消极弹幕分析

取出部分消极弹幕数据

data2 = data1[data1['emotion'] < 0.5]
data2 = data2.head()
print(data2)

控制台输出：
在这里插入图片描述
数据说明：

  • 上图中的“回血”，“求生欲”等消极弹幕有可能是EDG战队或者韩国队比赛不佳造成的

六、总结

PIL库
jieba库
numpy库
pandas库
requests库
wordcloud库
matplotlib库
json,re,chardet库
snownlp情感分析库

七、完整项目下载

本人博客园原文链接：阅读原文
完整项目下载链接：下载
本人原创公众号原文链接：阅读原文

原创不易，如果觉得有趣好玩，希望可以随手点个赞，拜谢各位老铁！

最近发现CSDN上好多人抄袭本人博客，还比我热度高，哎！毕竟是10月份才刚刚开始写博客，虽然是18年创建的账号，知名度和粉丝没有别人高啊！

八、作者Info

作者：小鸿的摸鱼日常，Goal：让编程更有趣！

原创微信公众号：『小鸿星空科技』，专注于算法、爬虫，网站，游戏开发，数据分析、自然语言处理，AI等，期待你的关注，让我们一起成长、一起Coding！

转载说明：务必注明来源（注明：来源于公众号：小鸿星空科技， 作者：小鸿的摸鱼日常）

小鸿的摸鱼日常
关注
  • 29
    点赞
  • 踩
  • 176
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小鸿的摸鱼日常

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值