爬虫实战：英雄联盟手游能“干掉”王者荣耀？微博4.3亿网友吵翻了……

悄然之间，英雄联盟手游终究还是来了，而且还是在国庆刚过的第一天，倒还真的显示了官方的诚信经营。

从开服开始，我的工作群、朋友圈基本天天都有人在喊着上线打两把，仿佛回到了《王者荣耀》刚流行的时候，午休必五排。

而愿意喊我一起打LOL手游的，无外乎都是以前天天在电脑上打《英雄联盟》的那群好友。瞬间感觉爷青花回

在开放下载之后，LOL手游在很短的时间内便登顶iOS免费App榜。

现在只要打开App Store，就能看到各个页面推荐的都是LOL手游，毫无《王者荣耀》踪迹。

也正因LOL手游如此火爆，有不少玩家拿《王者荣耀》和《英雄联盟手游》进行比较：

“英雄联盟手游能碾压王者荣耀吗？”

话题甚至一度登上微博热搜榜，吸引百万网友围观。

那么到底英雄联盟手游和王者荣耀谁在广大玩家心中更受欢迎？

来看看3.4亿网友怎么说

1

网页分析

我们打开浏览器开发者模式如下：

页面上展示的信息我们都可以在右侧对应的真实链接中反印出来

并且我们可以看到这是一个GET请求，我们可以在请求网站时加上

headers防止被网站反爬而不能获取到数据

2

发送请求

我们要获取的数据很简单，用户id、用户名称、评论时间、点赞人数和评论内容即可。

其他数据可以根据需求自行获取

如上图所示，我们要后取得数据是存在于一个叫做data的json文件中

url = 'https://m.weibo.cn/comments/hotflow?id=4690050909209999&mid=4690050909209999&max_id_type=0'

headers = {
    'cookie': 'WEIBOCN_FROM=1110006030; SUB=_2A25MZ_SXDeRhGeVG7lAZ9S_PwjiIHXVvq5zfrDV6PUJbkdCOLUOtkW1NT7e8qp27GOSnSoETtSb_elCC-bWgVj4i; MLOGIN=1; _T_WM=38762224721; XSRF-TOKEN=d85280; M_WEIBOCN_PARAMS=oid%3D4690050909225E8%258B%25B1%25E9%259B%2584%25E8%2581%2594%25E7%259B%259F%25E6%2589%258B%25E6%25B8%25B8%25E8%2583%25BD%25E7%25A2%25BE%25E5%258E%258B%25E7%258E%258B%25E8%2580%2585%25E8%258D%25A3%25E8%2580%2580%25E5%2590%2597%2523%26uicode%3D20000061%26fid%3D4690050909209999',
    'referer': 'https://m.weibo.cn/detail/4690050909999',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr'
    }

resp = requests.get(url, headers=headers).json()
ic(resp)

接下来我们再获取data中的提取具体数据如下：

wb_info = resp['data']['data']

for item in wb_info:
    user_id = item.get('user')['id']  # 用户id

    author = item['user']['screen_name']  # 作者名称

    auth_sign = item['user']['description']  # 作者座右铭

    time = str(item['created_at']).split(' ')[1:4]
    rls_time = '-'.join(time)  # 发帖时间

    text = ''.join(re.findall('[\u4e00-\u9fa5]', item['text']))  # 发帖内容
    
'''
6096382092 阿侃 积极向上 热爱生活 永远善良 Oct-09-07:58:14 和平精英集合
6592181004 写一封信 爱与被爱同时发生才有意义. Oct-09-10:13:57 王者荣耀集合
2656225573 wwKRYSTAL 天天开心 Oct-08-18:59:25 为了我个皮肤我还是王者吧
5457791293 瓜来啊  Oct-08-22:45:50 作为手游节奏整体比端游快但还是王者更快一点不过作为王者玩家我希望手游越来越好这样两家子就能卷起来哈哈哈哈
5737464590 佳佳酱biubiu 从前从前有个人爱你很久，但偏偏风渐渐把距离吹得好远 Oct-09-07:41:00 这话题就很无语我不能两个一起玩吗王者打排位生气了切英雄联盟接着生气
6320288726 我在等风也等你来1314  Oct-08-19:50:47 不太能王者毕竟运营了年成熟了太多了今天试玩了打的有点痛苦
2549940367 薯籽_c 蕃茄，俄会永远记住你。when you want to give up. think about your dream and your parent. Oct-09-01:32:39 英雄联盟的审美比较欧美一些允悲我还是喜欢王者的画风允悲可能比较幼稚
5130426979 雨在大也 我做我的，，让别人说去吧，， Oct-09-10:49:30 重振荣光吾辈义不容辞说真的英雄联盟手游真的好玩老玩家一上手就知道怎么玩新玩家的上手成本也真不高相对端游毕竟改过之后都是民工连了多玩几次也就能熟悉了说上手难的你玩王者不也得熟悉英雄你认识李白你就知道李白的技能课本上学的
2925379130 旺仔养乐多火锅 愿你迷路一生，还是能走到我身旁 Oct-09-10:25:45 我觉得你们真是闲的关注这个破话题干啥英雄联盟手游的出现难道不是好事没有英雄联盟手游王者那么大方给你送点券给你送皮肤英雄联盟的热度是人都看的到这才出来几天呢就说这种屁话题闲的是吧
5722515877 电竞游戏界 装逼的是干爹，坑爹的是干娘 Oct-09-11:11:43 英雄联盟手游集合
5505998073 普及版 生活没什么好的，也就酒还行。Oct-08-23:03:39 玩惯了英雄联盟会觉得王者荣耀像连连看
3993403094 L小王同学bot 学无止境。Oct-09-10:23:36 我两款游戏都玩英雄联盟手游对线打团的细节可玩性明显高太多了而且手感也很扎实王者一直给我的感觉就是轻飘飘的尤其是平感觉都不是打在人的身上从现在的热度来看我认为之后大概率是个五五开的局面至于之后谁赢谁输看运营了只能
2165525105 张稳稳_ 理想三旬 Oct-09-07:26:39 我他妈终于不再打王者这个屁大点儿地图的恋爱游戏了
7074340233 丸子的养乐多七分甜 i美女本人丸子就是我 愿 健康平安 心想事成🧚‍♀️💓 Oct-09-11:24:30 亚索真的太快乐了提莫真的太好揍了希望你们可以去感受一下
1588949744 契约予你 如果此刻孤单，不妨抬头看看月亮！Oct-08-19:42:01 不能玩了几把不太适应拿了奖励还是回王者了
5211124691 小桃子安安安安安 爱战哥 爱生活 Oct-09-08:45:35 没什么比的啊手游只是端游老玩家期待的而已为什么要比不过打开界面真的爷青回平时没时间在电脑上玩真的看见这个那叫一个亲切呀
1862946860 米兰小铁匠_Z 。Oct-09-07:50:44 玩啥看个人喜好最可笑的是某些土狗王者荣耀你都玩的菜的跟似的下个英雄联盟手游感觉自己很牛很有优越感玩的明白吗东西
5054416056 皮皮的点点滴滴 成长的点点滴滴！Oct-09-10:33:40 好不容易不让小朋友进网吧这下好了放假又不能打了
2677891563 小_盧鱼 人在得意之前，总会经历一段失意的过程，这个我懂。Oct-08-23:16:13 哎现在知道对标王者了早干嘛去了三年前就说要公测说到现在除了玩过电脑版的老玩家现在谁还有精力去再整个英雄联盟手游也就一两天热度而已
5537736658 番茄奶酪芝士 罗生门 Oct-09-07:58:43 玩个游戏还有鄙视链这是现实多找不到认同感我的天吃惊

'''

3

多页获取

因为我们要获取的数据不止一页，所以咱们来接着分析翻页。就从每一页的url开始。

https://m.weibo.cn/comments/hotflow?id=4690050909209999&mid=4690050909209999&max_id_type=0
https://m.weibo.cn/comments/hotflow?id=4690050909209999&mid=4690050909209999&max_id=218431253877967&max_id_type=0
https://m.weibo.cn/comments/hotflow?id=4690050909209999&mid=4690050909209999&max_id=141877756896912&max_id_type=0
https://m.weibo.cn/comments/hotflow?id=4690050909209999&mid=4690050909209999&max_id=139678733588789&max_id_type=0

从第二页开始，每个连接的后面都多了一个叫做max_id的参数。

并且这个max_id是跟随页数随机变化的。

通过第一页的链接获取到了第二页的max_id，

然后通过第二页的链接获取到第三页max_id

以此类推，获取到全部数据....

for page in range(2, 100 + 1):
    if page > 16:
        max_id_type = 1
    else:
        max_id_type = 0
    url = f'https://m.weibo.cn/comments/hotflow?id=4690050909209999&mid=4690050909209999&max_id={max_id}&max_id_type={max_id_type}'

4

数据存储

我们使用openpyxl将爬取到的数据保存至Excel文件中，方便我们后续对数据进行处理和可视化操作。

部分数据如下：

5

数据清洗

我们使用pandas来清理数据，删除重复记录和有缺失值的行，随机展示五条数据如下：

# 读取数据
rcv_data = pd.read_excel('./英雄联盟.xlsx')

# 删除重复记录
rcv_data = rcv_data.drop_duplicates()
# 删除缺失值
rcv_data = rcv_data.dropna()

# 抽样展示5条数据
print(rcv_data.sample(5))

'''
        用户id        作者名称                      作者座右铭             发帖时间                       发帖内容
1042  6606991004  拾荒其实就是捡垃圾啦        双笙我捡垃圾养你 以后圈名统一就拾荒啦  Oct-09-13:41:26                        卷起来
535   5019593276        折刺之猬  狮子座的我甘愿被驯服 只是暂时遇不到我的公主...  Oct-09-14:55:55                 两个手机一起玩不香吗
791   6522156116        你的杨别                          一  Oct-09-14:16:44      都不好玩昨天试了一把没点感觉没有端游好操作
381   3900083672     嗨你的狗跑掉了       好看的皮囊千篇一律，有趣的灵魂寥寥无几。  Oct-10-08:46:28  我还是喜欢二哈玩了几年端游上班没时间玩现在好了憧憬
373   5749119355       一介薄凉人                爱意随风起 风止爱难平  Oct-10-09:44:18               看沙雕们互相吵架就很下饭
'''

6

词频展示

我们使用pandas分析评论数据并提取文章前十大词汇

并使用气泡图和树状图展示如下：

 # 词频设置
all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words]
wordcount = Counter(all_words).most_common(10)
x1_data, y1_data = list(zip(*wordcount))

'''
('王者', '联盟', '英雄', '游戏', '手游', '荣耀', '玩家', '腾讯', '喜欢', '感觉')
(534, 271, 248, 167, 160, 141, 117, 89, 68, 68)
'''

气泡图

树状图

7

词云展示

最后我们使用wordcloud来切割分词，使用stylecloud来展示多样形式的词云图如下：

# 获取列内容
c_title = rcv_data['发帖内容'].tolist()
# 评论词云图
wordlist = jieba.cut(''.join(c_title))
result = ' '.join(wordlist)
pic = 'img.jpg'

小孩才做选择，两个游戏都玩的都是狠人

总的来说，不管你是谁的死忠粉，我都觉得不要吵起来，《王者荣耀》和LOL手游之间越是有竞争，对咱们用户来说，优惠就越好。

实在不行，你两个都下载还不行嘛。

那么大家是怎么看待LOL手游和《王者荣耀》关系的呢？

评论区留言聊聊吧！