steam夏日促销用Python爬取排行榜上的游戏打折信息

 

不知不觉，一年一度如火如荼的 steam 夏日促销悄然开始了。每年通过大大小小的促销，我的游戏库里已经堆积满还未下载过的游戏。但所谓“买到就是赚到，G胖一定大亏”的想法日渐流行，指不定以后就靠它们发达了呢。

有时候滚动steam的排行榜看自己喜欢的游戏的时候，未免会被右边的价格影响到。久而久之我发现我所不想买的游戏并不是因为它不好玩，而是它还没打折。又或者有些心水未被别人挖掘，在排行榜隐秘的角落里自怨自艾，等待“把玩”它的人出现~

于是我简单的用python爬取了steam排行榜前10000个游戏的信息，其中有游戏名，评价，价格，出版日期等，在更加简洁的列表界面选取自己感兴趣的游戏之时，也可以进行进一步的数据分析。

废话不多说，赶紧开始，不然被我拖更到促销结束了就蹭不到热度了。（本来也没有热度）

开始爬取

先说说这次爬虫选用数据的优缺点：

第一，我发现了steam在显示排行榜列表的时候后台会进行一个查询的申请，点开一看是一串json代码，而且在python进行request的时候不需要模拟浏览器进行填“headers”表的操作。通过访问而得到的json代码大大简化了循环复杂度，一次循环可以得到100个游戏信息。

第二，因为只需要遍历所有json代码，时间上可以比进入每一个游戏链接更加短。

第三，但就因为没有进入每个游戏的链接，所以像评论，简介，开发商等信息就没有爬取。但爬取游戏链接的爬虫攻略网上也有很多