Steam游戏信息爬取-热销榜价格好评率折扣评论

已于 2022-05-26 12:04:54 修改
阅读量9.2k 收藏 93
点赞数 29
分类专栏： Python 文章标签： python 爬虫 steam 游戏
于 2021-01-03 22:02:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dddhl_/article/details/111768725
版权

爬取Steam热销榜信息

最近学习了一下爬虫，练练手，第一次写文章，请多多包涵O(∩_∩)O
爬取Steam热销榜：游戏排名、游戏名字、价格、好评率、游戏详情页面跳转链接。

Steam热销榜爬虫

一、开始爬虫前

1.引入库

热销榜为静态页面，所需要的库：requests，pandas，BeautifulSoup

import requests
import pandas as pd
from bs4 import BeautifulSoup

2.读入数据

headers里需要加入 ‘Accept-Language’: 'zh-CN '，不然返回来的游戏名字是英文

def get_text(url):
    try:
        headers = {
            "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/85.0.4183.102 Safari/537.36', 'Accept-Language': 'zh-CN '
        }
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "爬取网站失败！"

二、分析网页

热销榜链接：
https://store.steampowered.com/search/?filter=globaltopsellers&page=1&os=win

1.首先观察价格，有两种形式，一种是原价，一种是打折后的价格

在这里插入图片描述
（1）正常价格
在这里插入图片描述
（2）打折后价格，对比可发现class = “col search_discount responsive_secondrow” 是用于储存折扣的。原价为None，打折不为None，以此做为判断条件提取价格。在这里插入图片描述

2.名字、游戏详情页链接

由代码可以知道：
游戏详情页链接全在 id = “search_resultsRows” 的a.href 标签里
名字在 class = “title” 里
在这里插入图片描述

3.好评率

由图可以发现有些游戏没有评价
在这里插入图片描述
查看代码发现：
好评率在 class = “col search_reviewscore responsive_secondrow” 中，无评价为None
在这里插入图片描述
在这里插入图片描述

三、爬取信息并处理

1.游戏详情页面链接

提取a[‘href’] 保存到 jump_link 列表

link_text = soup.find_all("div", id="search_resultsRows")
    for k in link_text:
        b = k.find_all('a')
    for j in b:
        jump_link.append(j['href'])

2.好评率

提前好评率和评价数到 game_evaluation 列表。

u.span["data-tooltip-html"].split("<br>")[0]   # 评价
例：多半好评

u.span["data-tooltip-html"].split("<br>")[-1])  # 好评率
例：276,144 篇用户的游戏评测中有 78% 为好评。

w = soup.find_all(class_="col search_reviewscore responsive_secondrow")
    for u in w:
        if u.span is not None:					# 判断是否评价为None。
            game_evaluation.append(
                u.span["data-tooltip-html"].split("<br>")[0] + "," + u.span["data-tooltip-html"].split("<br>")[-1])
        else:
            game_evaluation.append("暂无评价！")

3.名字、价格

用strip去除多余空格，用split切割，提取其中的价格
global num 是游戏排名。
game_info 是列表，存储所有的信息。

price = z.find(class_="col search_price discounted responsive_secondrow").text.strip().split("¥")
print(price)					# 切割后的打折price
print(price[2].strip())			# 需要保存的价格

结果为：
['', ' 116', ' 58']				
58								

global num
name_text = soup.find_all('div', class_="responsive_search_name_combined")
for z in name_text:
    # 每个游戏的价格
    name = z.find(class_="title").string.strip()
    # 判断折扣是否为None，提取价格
    if z.find(class_="col search_discount responsive_secondrow").string is None:
        price = z.find(class_="col search_price discounted responsive_secondrow").text.strip().split("¥")
        game_info.append([num + 1, name, price[2].strip(), game_evaluation[num], jump_link[num]])
    else:
        price = z.find(class_="col search_price responsive_secondrow").string.strip().split("¥")
        game_info.append([num + 1, name, price[1], game_evaluation[num], jump_link[num]])
    num = num + 1

四、信息保存

def save_data(game_info):
    save_path = "E:/Steam.csv"      # 保存路径
    df = pd.DataFrame(game_info, columns=['排行榜', '游戏名字', '目前游戏价格¥', '游戏页面链接', '游戏评价'])
    df.to_csv(save_path, index=0)
    print("文件保存成功！")

五、主函数

一页有25个游戏，翻页链接直接在原链接后面加 &page= 第几页
想爬取多少页游戏，就把 range（1,11）的11改成多少页+1

if __name__ == "__main__":
    Game_info = []			# 所有游戏信息
    Turn_link = []			# 翻页链接
    Jump_link = []          # 游戏详情页面链接
    Game_evaluation = []    # 游戏好评率和评价
    for i in range(1, 11):
        Turn_link.append("https://store.steampowered.com/search/?filter=globaltopsellers&page=1&os=win" + str("&page=" + str(i)))
        run(Game_info, Jump_link, Game_evaluation, get_text(Turn_link[i-1]))
    save_data(Game_info)

六、全部代码

num 是排名；run 函数里要调用 BeautifulSoup 函数解析

2022/5/26 网络原因会影响爬虫，建议先确定能否访问steam热销榜页数及游戏详情页再尝试代码。我在开加速器时也会出现访问失败，所以不建议爬取steam了。我开加速器有时可以有时不可以，用debug打断点可以看到链接也成功获取而且与网页跳转链接是一致的，代码应该没错但是得注意网络问题谢谢。

import requests
import pandas as pd
from bs4 import BeautifulSoup
num = 0


def get_text(url):
    try:
        headers = {
            "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/85.0.4183.102 Safari/537.36', 'Accept-Language': 'zh-CN '
        }
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "爬取网站失败！"


def run(game_info, jump_link, game_evaluation, text):
    soup = BeautifulSoup(text, "html.parser")

    # 游戏评价
    w = soup.find_all(class_="col search_reviewscore responsive_secondrow")
    for u in w:
        if u.span is not None:
            game_evaluation.append(
                u.span["data-tooltip-html"].split("<br>")[0] + "," + u.span["data-tooltip-html"].split("<br>")[-1])
        else:
            game_evaluation.append("暂无评价！")

    # 游戏详情页面链接
    link_text = soup.find_all("div", id="search_resultsRows")
    for k in link_text:
        b = k.find_all('a')
    for j in b:
        jump_link.append(j['href'])

    # 名字和价格
    global num
    name_text = soup.find_all('div', class_="responsive_search_name_combined")
    for z in name_text:
        # 每个游戏的价格
        name = z.find(class_="title").string.strip()
        # 判断折扣是否为None，提取价格
        if z.find(class_="col search_discount responsive_secondrow").string is None:
            price = z.find(class_="col search_price discounted responsive_secondrow").text.strip().split("¥")
            game_info.append([num + 1, name, price[2].strip(), game_evaluation[num], jump_link[num]])
        else:
            price = z.find(class_="col search_price responsive_secondrow").string.strip().split("¥")
            game_info.append([num + 1, name, price[1], game_evaluation[num], jump_link[num]])
        num = num + 1


def save_data(game_info):
    save_path = "E:/Steam.csv"
    df = pd.DataFrame(game_info, columns=['排行榜', '游戏名字', '目前游戏价格¥', '游戏评价', '游戏页面链接'])
    df.to_csv(save_path, index=0)
    print("文件保存成功！")


if __name__ == "__main__":
    Game_info = []          # 游戏全部信息
    Turn_link = []          # 翻页链接
    Jump_link = []          # 游戏详情页面链接
    Game_evaluation = []    # 游戏好评率和评价
    for i in range(1, 11):
        Turn_link.append("https://store.steampowered.com/search/?filter=globaltopsellers&page=1&os=win" + str("&page=" + str(i)))
        run(Game_info, Jump_link, Game_evaluation, get_text(Turn_link[i-1]))
    save_data(Game_info)

在这里插入图片描述

七、总结

以上就是今天要讲的内容，本文仅仅简单介绍了request 和 BeautifulSoup 的使用。

突破点在于：有些页面信息的位置不同，能否找出判断条件

1.心情

初学爬虫，也是第一次写博客，对于优化和多线程目前没有太多了解，本文的代码可能有点繁琐，不过也能做到轻松爬取信息。O(∩_∩)O

转载请标明作者和出处！

holden丶
关注
专栏目录
Steam 游戏、评论和排名-数据集
09-29
Steam 游戏、评论和排名数据集 该数据集包含从 Steam 平台抓取的超过 990,000 行数据，侧重于各种类型的游戏评论、排名和游戏相关信息。该数据收集自 Steam 上 6 个核心类型的销售额、收入和评论排名前 40 的游戏。该数据集包括 242 款玩家评论游戏和 290 款类型排名和描述游戏，部分游戏由于内容限制（裸露）而被排除在外。 数据收集流程： 数据是从 Steam 的公共页面抓取的，遵循 Steam 当时的 robots.txt 文件，以确保符合 Steam 的抓取指南。 该数据集包括以下类型的销售额、收入和评论排名前 40 的游戏的信息： 行动 奇遇 角色扮演 策略 模拟 运动与赛车 共收集了 990,000+ 条评论，共来自 242 款游戏，而游戏描述和类型排名文件包含 290 款游戏。游戏数量的差异是由于排除了某些包含裸体的游戏，这些游戏没有从中收集评论。
steam_no_mans_sky_sky_steam评论爬虫_
09-29
steam游戏评论采集，可以针对steam游戏下面所有的评论进行采集
Steam游戏的爬取与分析
热门推荐
weixin_43150094的博客
07-03 1万+
Steam游戏的爬取与分析 本文爬取了steam冒险类游戏中热销产品中的7500个游戏进行统计分析 1、首先要先知道网页链接的组成形式： 2、其次查看我们想要爬取的信息区域： 3、开始分析： （1）、url的分析： 我们发现冒险类游戏的url：https://store.steampowered.com/tags/zh-cn/冒险当点击+页数的时候： 可以发现url尾部增加了： #p=1&tab=TopSellers url变成了：https://store.steampowered.com/t
微信小程序的一些坑一些总结（持续更新）
weixin_38824257的博客
09-02 2041
最近参与了几个微信小程序的开发，其中有使用到小程序原生、uni-app和mpvue的方式开发。期间遇到了各种各样的坑以及一些小程序本身能力的限制。现归纳如下，让大家少走点弯路。 1.原生组件遮挡弹出框问题。（map，textarea等） 2.iOS全面屏底部黑色横条适配 3.iOS下日期格式转换问题 4.input输入框的问题 5.保存文件到本地的问题 ...
Python steam,google play,appstore评论获取[附源码]
qq_41000235的博客
06-03 1603
请求的URL格式：https://store.steampowered.com/appreviews/{appid}?nextCursor：用来索引下一页评论的下标，初始值等于*，下一页的值从请求的页面中可以拿到，这个值的键为"cursor"。因此通过这个URL可以一直动态的请求到所有的评论数据。
python scrapy 爬取steam游戏
Little Snow White
03-15 5162
目标网页： 游戏列表页 游戏详情页 游戏评论 目标数据： 列表页：游戏标题，游戏价格，折扣，评论总数，好评比例 详情页：游戏图片，游戏简介，游戏评论 ...
Python实时获取steam游戏数据
kakA的博客
10-15 7464
Python实时获取steam特惠游戏数据
python爬取steam网页热销游戏的信息
flockyverbiage的博客
06-14 1458
用python简单爬取steam网页上热销产品的基本信息：游戏名称、价格和发行时间。
Python3 + BeautifulSoup 爬取Steam热销商品数据
weixin_42852210的博客
03-20 2590
这次用了BeautifulSoup库来爬取Steam的热销商品，BeautifulSoup更侧重的是从页面的结构解析， 根据标签元素等来爬取数据，这次遇到两个问题： 1.Steam热销商品列表经常有重复的，所以我建了一个列表，把爬到的数据存进去，每次爬的时候都校验跟列表里有没有重复，有的话就跳过，防止重复爬取。 2.我需要同时遍历两个表，找到了zip()函数解决方案，下面简单介绍一下。 zip...
steam畅销榜爬取好评率
06-01
要爬取 Steam 畅销榜上每个游戏的好评率，可以按照以下步骤进行： 1. 使用 Python 的 Requests 库或类似的工具向 Steam 畅销榜的网页发送请求，获取网页的 HTML 代码。 2. 使用 Python 的 Beautiful Soup 库或类似...
基于hanlp的steam评论爬取情感分析可视化Python源码
最新发布
10-20
基于hanlp的steam评论爬取情感分析可视化Python源码基于hanlp的steam评论爬取情感分析可视化Python源码基于hanlp的steam评论爬取情感分析可视化Python源码基于hanlp的steam评论爬取情感分析可视化Python源码基于...
爬取竞技游戏排行榜 - 从游戏网站获取游戏排行榜信息
sybh的博客
05-28 719
在本文中，我们详细介绍了如何使用Python编写一个爬虫程序，从游戏网站（如Steam）获取竞技游戏排行榜信息。我们分析了目标网站的结构，使用BeautifulSoup和Requests库编写了爬虫程序，并将获取的信息保存为JSON格式。请注意，爬虫可能会对目标网站的服务器造成压力，所以请在合法合规的范围内使用爬虫技术。此外，网站结构可能会发生变化，因此在实际应用中请确保检查目标网站的最新结构，并相应地更新爬虫程序。希望这篇博客对您学习Python爬虫技术有所帮助！
python爬虫爬取steam,epic,origin平台游戏数据
zamaochick的博客
01-04 8370
这是我们课程实训的一个功能模块，实现将steam,epic,origin游戏价格信息爬取出来，由于三个网站的构造不一样，加载数据的方式也不一样所以我们需要采用不同的方法来爬取这三个平台的游戏数据 用到的工具包 BeautifulSoup包 提取爬取网页标签的属性值(游戏的价格信息等) selenium的webdriver 利用脚本实现动态加载数据 requests 爬取网页数据用 mysql 数据表 具体实现步骤 1. 提取steam数据 首页url https://store.steampowere
python爬虫——获取依据steam当前在线玩家人数排列的最热门游戏
我的博客
04-01 2556
先看一个爬虫入门的小程序——获取中国最好大学排名 import requests from bs4 import BeautifulSoup allUniv = [] def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.enco...
python爬虫项目（七十四）：使用爬虫技术抓取游戏论坛评论数据并分析游戏受欢迎程度
sybh的博客
10-04 1446
游戏产业在全球范围内蓬勃发展，游戏论坛成为了玩家讨论和分享游戏体验的重要平台。通过分析这些论坛中的玩家评论数据，我们可以了解某款游戏的受欢迎程度、用户反馈和游戏社群的整体情绪。本文将介绍如何使用爬虫技术抓取游戏论坛评论数据，并通过自然语言处理（NLP）技术分析游戏受欢迎程度与玩家的情绪。
python爬取steam市场数据
weixin_41396062的博客
10-01 9229
#steam-ak47-jiujngshachang-jiaoyijilu import csv import requests import re url=‘https://steamcommunity.com/market/listings/730/AK-47 | Redline (Field-Tested)’ headers={ ‘user-agent’:‘Mozilla/5.0 (Linu...
爬虫python能做游戏吗_python爬虫 爬取steam热销游戏
weixin_29230773的博客
02-12 715
好久没更新了啊。。。最近超忙 这学期学了学python 感觉很有趣 就写着玩~~~爬取的页面是：https://store.steampowered.com/search/?filter=globaltopsellers&page=1&os=winsteam全球热销游戏榜单 一共599页代码如下(很简单，函数都懒得写了，肯定看得懂)：import requestsfrom bs4 ...
爬取steam上热门游戏的价格，网址，评价数据
weixin_45911345的博客
03-12 1766
我学爬虫是始于装叉，但是装叉动力不够，老师大作业要我们学，无奈，这里试着用python爬取steam动态网页的数据，挺简单的 # -*- coding: utf-8 -*- # @Author:胡澳治 import requests from lxml import etree def trans(data_list, type): if len(data_list) == 0: return "空" elif type == "price": .
评论 35
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

holden丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值