【python】利用脚本抓取steam限时免费游戏

最新推荐文章于 2024-09-10 10:39:57 发布

胖狗子修行之路

最新推荐文章于 2024-09-10 10:39:57 发布

阅读量3.6k

点赞数 2

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_42685012/article/details/105162129

版权

python 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

触发条件

正值疫情期间，蒸汽厂的游戏赠送停不下来，本着喜加一的态度，把免费赠送的游戏收入囊中。逛论坛的时候发现有一个网站可以找到限免的游戏。然后发现网站找游戏，客户端入库，眼睛有点迷糊。灵光乍现，和不用脚本帮助我完成网站的搜索功能？可以不玩，但是不能没有~

成果展示

限免和免费领取全部的游戏名字
在这里插入图片描述
免费领取的

第一步访问网站

当然是利用python库完成网站抓包

url ='https://steamdb.info/upcoming/?free'

在访问的时候一直503服务错误，各种查询一顿操作，发现需要加上User-Agent 和 Cookie。
查看方式如下：
在这里插入图片描述

第二步数据整理

利用bs4库和BeautifulSoup库
可以很方便的抓到需要的数据
在这里插入图片描述

第三步打印游戏名

把提取出来的数据，经过稍微加工，就可以完成任务了
在这里插入图片描述

代码奉上

import requests
from bs4 import BeautifulSoup
import bs4
 
def get_content(url, data=None):

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
                'Cookie' : '__cfduid=d63d93c0d75fb1123c6b196b8b5b9fd291585368535; _ga=GA1.2.799079572.1585368537; _gid=GA1.2.452938673.1585922291; cf_clearance=fe10b49381f7444d30430b7fc657981364ab4d20-1585922308-0-150'}
    try:
        r = requests.get(url, headers=headers, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'
 
 
def get_data(html):
    final_list = []
    soup = BeautifulSoup(html, 'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            ads = tr('b')
            final_list.append(ads[0].string)
    return final_list
            
 
def save_data(data,filename):
    str1 = "Free Promotional"
    f = open(filename,"wt", encoding='utf-8')
    for line in data:
        f.write(str(line)+'\n')
        if str1 in line:
            print(line)
    f.close()
 

if __name__ == '__main__':
    url ='https://steamdb.info/upcoming/?free'
    html = get_content(url)
    result = get_data(html)
    save_data(result,'w.txt')