大数据入门第一块——dota2数据分析（一）

既然要做一个项目，那么就从自己比较有兴趣的板块开始自己的入门。dota作为一款moba类鼻祖游戏，本人已经摸爬滚打了近10年，从一个高中愣头青，也玩到了一个快要步入中年的研究生了，从当年最无敌的娜迦潮汐体系，到ti9上的无敌小精灵，这款游戏对于我来说已经不仅仅是游戏。关于数据分析，一般是从三方面入手，即业务，统计学及数学，以及各项编程技能，若是以这么一款业务几乎熟的不能再熟的游戏入手，也算对我这么一个半云玩家，正在转型纯云玩家的我，也有了一个最好的结局。
进入正题部分，关于dota2数据源的导入，v社官方有一个官方所用的api接口网站，但是v社不愧有度假社的美名，游戏更新都那么慢，别说这些了。一般选用的网站在https://www.opendota.com。
第一个博客，记录关于该网站对于各英雄的编号，以及一场比赛（以CW模式为例），统计比赛所禁用与出场的英雄。
由于该网站并未给出相应的api接口来统计各个英雄的编号，故我们需要自己来找出这个对应的规则。第一个方法，由于很明显的可以得出，每个heros对应一个网页，及https://www.opendota.com/heros/ + num，num位英雄所对应的数字，以1号英雄敌法师(Anti-mage)为例：
到了这个页面，我们自然而然的想通过爬虫机制将该Anti-Mage所爬取下来，但是这样过于麻烦，从requests所get下来的response中得不到这个信息，那么需要从另外的方法入手，讨论群中有人建议用Xpath的方法，得出位置在于//*[@id=“root”]/div/div[3]/div/div/div/div[2]/div/div/table/tbody/tr[1]/td[1]/div/div/div[2]/span/a/text()，由于之后还需要做成for循环来导入列表，并且中间还有空缺数字，故本人未曾使用该方法。

本人选择将网站刷新速率放慢，直到该文字刷新出来，暂停页面的加载，得到最新的文档，得出requests URL，即下图：