前言
疫情在家期间,玩玩游戏无疑是很好地放松休闲手段。而许多游戏在steam等平台上则通过限时免费领取的吸引更多玩家的参与,再加上上次差点就错过古墓丽影9的免费领取时间,看来我又需要python来做一个自动化爬虫小帮手了!
爬取免费游戏界面当然可以直接爬取steam,但是epic等发行平台也有许多相当不错的免费游戏。想要全面地了解世界范围内的限时免费领取游戏?epicbundle可以为我们提供想要的资源
进入网站,epicbundle呈现给了我们大量的游戏发售和免费游戏的信息,可惜的是,内容太多了,包括了免费游戏,bundle等大量内容,而且点击页面也需要多次跳转,这个时候,召唤python冲啊!
代码特性
代码不难,很多篇幅都是注释和异常检测,实实在在地简单易懂!这段代码实现了以下特性:
- 交互基于控制台
- 爬取epicbundle前三页的所有免费游戏,修改一个数字即可任意选择爬取的页面范围
- 可浏览器自动打开免费游戏领取界面
- user自定义游戏平台范围:多平台或者仅仅steam
- 可以详细打印爬取信息,返回所有的爬取数据
- 低强度反反爬虫: 实践证明epicbundle可以识别过快的页面请求,因此添加了请求头并且适当降低了request部分代码频率
源码
# 看库包就觉得很简单~
from bs4 import BeautifulSoup
import requests
import re
import time
from selenium import webdriver
'''
获得epicbundle前三页的所有免费游戏信息
'''
dest_url = 'https://www.epicbundle.com/'
header = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-language': 'en-US,en;q=0.9,zh-TW;q=0.8,zh;q=0.7',
'cache-control': 'max-age=0',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
def handler(url):
'''总控
实现用户自定义
'''
html = request(url)
steam, all_ = parse(html)
# steam or all?
steamOnly = input('你只需要steam上的免费游戏吗(默认开启)?(y/n)')
steamOnly = False if steamOnly=='n' else True
# verbose or clean?
verbose = input('是否打印完整的日志(默认关闭)?(y/n)')
verbose = False if verbose=='n' else True
# 直接在浏览器中打开吗?
openBowser = input('直接在浏览器中打开免费游戏的领取界面吗(默认开启)?(y/n)')
openBowser =