怪物猎人世界哪把武器最热门？数据挖掘练习-其二 python爬取MHW贴吧主题并统计

简介

众所周知，怪物猎人世界这一款游戏，是一款模拟仿真按摩游戏。

在一个拥有各种强大生物的新大陆上，由于自然资源紧张，各种怪物之间的矛盾频发，此时玩家所扮演的按摩师，需要通过自己精湛的按摩技巧和装备工具，以及强大的aibo的帮助下，使用修脚，撮背，加特林特技按摩等技术，使怪物达到爽翻的状态，成功之后，怪物会休息，并发自内心的感谢玩家并赠送龙玉等物品。

最终达到人、怪物、动物的和谐发展，这是一款非常具有正能量的游戏。

在按摩过程中，选择正确的aibo(伙伴)，也是很重要的。

其中某些怪物由于太舒服了还会高兴的表演甩尾，“龙车”，“如来神掌”等绝技，以表达对按摩师的感谢。

龙车
如来神掌
额…应该是这张
真正的如来神掌

那么，问题来了，目标是神奇怪物大师的技师们，是怎么选择自己的武器呢？，这篇文章，笔者带你揭晓，到底哪把武器才是技师们的最爱。

0x00 爬取前的准备

与我上篇的blog一致
本次爬取的方法比较简单，不需要安装seletium，只需要有BeautifulSoup和requests package就行。

BeautifulSoup 安装方法参考blog：

BeautifulSoup 安装方法

0x01 爬取思路

首先，我们要明确我们爬取的对象，那就是著名水贴聚集地----贴吧

我们的目标，就是找到贴吧帖子的主题，并统计其中出现武器的频率，作为我们统计热度的参考。

这篇中，贴子主题、链接、发帖人、发帖时间、发帖数量等数据的爬取参考知乎作者Echo的文章
https://zhuanlan.zhihu.com/p/26722495
详细爬取思路可进入原作者文章查看，本文就简单的介绍一下。

0x02 爬取代码实现

首先，1 爬取需要所需要数量帖子的url

base_url = 'https://tieba.baidu.com/f?kw=%E6%80%AA%E7%89%A9%E7%8C%8E%E4%BA%BA%E4%B8%96%E7%95%8C&ie=utf-8'
    deep = 3
url_list = []
    for i in range(0,deep):
        url_list.append(base_url + '&pn=' + str(i*50