想知道最新的steam免费领取游戏?python爬虫来帮忙

前言

疫情在家期间,玩玩游戏无疑是很好地放松休闲手段。而许多游戏在steam等平台上则通过限时免费领取的吸引更多玩家的参与,再加上上次差点就错过古墓丽影9的免费领取时间,看来我又需要python来做一个自动化爬虫小帮手了!

爬取免费游戏界面当然可以直接爬取steam,但是epic等发行平台也有许多相当不错的免费游戏。想要全面地了解世界范围内的限时免费领取游戏?epicbundle可以为我们提供想要的资源

进入网站,epicbundle呈现给了我们大量的游戏发售和免费游戏的信息,可惜的是,内容太多了,包括了免费游戏,bundle等大量内容,而且点击页面也需要多次跳转,这个时候,召唤python冲啊!

代码特性

代码不难,很多篇幅都是注释和异常检测,实实在在地简单易懂!这段代码实现了以下特性:

  • 交互基于控制台
  • 爬取epicbundle前三页的所有免费游戏,修改一个数字即可任意选择爬取的页面范围
  • 可浏览器自动打开免费游戏领取界面
  • user自定义游戏平台范围:多平台或者仅仅steam
  • 可以详细打印爬取信息,返回所有的爬取数据
  • 低强度反反爬虫: 实践证明epicbundle可以识别过快的页面请求,因此添加了请求头并且适当降低了request部分代码频率

源码

# 看库包就觉得很简单~
from bs4 import BeautifulSoup
import requests
import re
import time
from selenium import webdriver


'''
获得epicbundle前三页的所有免费游戏信息
'''

dest_url = 'https://www.epicbundle.com/'

header = {
   
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'accept-language': 'en-US,en;q=0.9,zh-TW;q=0.8,zh;q=0.7',
    'cache-control': 'max-age=0',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}

def handler(url):
    '''总控
    实现用户自定义
    '''
    html = request(url)
    steam, all_ = parse(html)
    
    # steam or all?
    steamOnly = input('你只需要steam上的免费游戏吗(默认开启)?(y/n)')
    steamOnly = False if steamOnly=='n' else True
    
    # verbose or clean?
    verbose = input('是否打印完整的日志(默认关闭)?(y/n)')
    verbose = False if verbose=='n' else True
    
    # 直接在浏览器中打开吗?
    openBowser = input('直接在浏览器中打开免费游戏的领取界面吗(默认开启)?(y/n)')
    openBowser = 
  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Python爬虫可以用来抓取网站上的数据,包括Steam市场的信息。要爬取Steam市场,你需要使用像BeautifulSoup、Scrapy这样的库来解析HTML和执行网络请求。以下是一个简单的步骤概述: 1. **安装必要的库**: 首先确保你已经安装了`requests`(用于发送HTTP请求)、`lxml`(或`html.parser`)(解析HTML)、以及可能的`Scrapy`(如果用于更复杂的爬虫项目)。 ```bash pip install requests lxml # 如果使用Scrapy pip install scrapy ``` 2. **获取网页源代码**: 使用`requests.get()`获取Steam市场的页面HTML。 ```python import requests url = 'https://store.steampowered.com/search/?sort_by=global_sales&l=english' response = requests.get(url) html_content = response.text ``` 3. **解析HTML**: 使用BeautifulSoup或其他库解析HTML内容,提取你需要的数据,如商品名称、价格、评价等。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') items = soup.find_all('div', class_='search_result_item') # 查找商品列表元素 ``` 4. **数据处理**: 为每个商品创建一个字典或对象,存储相关信息,并存储到CSV、JSON或数据库中。 ```python def extract_data(item): name = item.find('h3').text price = item.find('.price').text # ...其他字段提取 return {'name': name, 'price': price} data_list = [extract_data(item) for item in items] ``` 5. **遵守网站规则**: 确保你的爬虫遵守Steam的使用政策,通常这意味着不频繁访问同一页面,避免使用代理IP,以及可能的用户代理设置。 6. **错误处理**: 考虑处理可能出现的网络错误、解析错误,以及Steam可能实施的反爬策略。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值