Python爬取新浪足球数据（以中超为例）

最近在整理上学期学位课中用到的一些知识点，其中看到了一个很省代码量的操作，记录一下。上学期多元统计，留了一个课程论文是用相关统计方法来分析数据，像我这种叫天天不应叫地地不灵要啥啥没有“三无蓝孩“，硬着头皮学了爬虫，后来，就有了今天的故事。

入坑一时爽，一直入坑一直爽啊

当然，说是要结合自己的专业，我，一个学GIS的，有些数据怕是要保密的，而且公开我也不会用啊

但是我爱看球啊，从中超英超德甲西甲，平时闲着没事也爱看看数据啥的，哪个球员又牛逼了，哪个队进欧冠了啥的，然后我就用这些数据做了个聚类（怕是多元统计里最简单的一个了，也感谢老师的浓浓师生情，让我复习了一天的多元统计过了）

回到正题，其实获取数据是主要的工作量，不想让中间商赚差价就只能自己动手丰衣足食了。

首先，打开网址，http://match.sports.sina.com.cn/football/csl/opta_rank.php?item=order&year=2019&lid=8&type=2&dpc=1

我起初的思路很钢铁直，就是用XPath获取，结合源码写了如下获取方式

def parse_page(text):
    tree = etree.HTML(text)
    # print(tree)
    ranking = []
    club_name = []
    try_goal = []    
    for i in range(2, 18):
        # 球队排名
        ranking_item = tree.xpath(
            '//tr[' + format(i) + ']/td[1]/text()')[0].strip()
        # 球队名称
        club_name_item = tree.xpath(
            '//tr['+format(i)+']/td/a/text()')[0].strip()
        # 射门数
        try_goal_item = tree.xpath(
            '//tr['+format(i)+']/td[3]/text()')[0].strip()
        ranking.append(ranking_item)
        club_name.append(club_name_item)
        try_goal.append(try_goal_item)
    return zip(ranking, club_name, try_goal)

这样倒是也可以获取数据了，可是，对于Python这种语言这也未免太多代码了吧。。。

再看一眼网页源码，

table，emmm，用pandas啊

然后就用pandas库来实现

da = pandas.read_html(response.content)[0]

写个循环将不同年份的各种类型数据爬下来。。

哎，今年的中超啥时候能开呢