关于手机网游（android_game）软件相关数据的爬取和spss分析

最新推荐文章于 2024-08-13 07:17:34 发布

fisoaliu10

最新推荐文章于 2024-08-13 07:17:34 发布

阅读量1.9k

点赞数

分类专栏： python spss 文章标签： spss python

本文链接：https://blog.csdn.net/fisoaliu10/article/details/82561345

版权

本文介绍了使用Python爬虫从游戏网站抓取手机网游数据，并通过SPSS进行数据分析的过程。在爬取过程中，作者遇到并解决了重复数据的问题。经过数据预处理后，使用SPSS进行了双变量相关性和简单线性回归分析，发现游戏评分与游戏大小正相关，与游戏类型负相关。

摘要由CSDN通过智能技术生成

前言
工欲善其事，必先利其器。学习了python爬虫的基础知识和spss分析工具后，动手写代码爬取数据进行spss分析才能更好掌握工具的使用，提升自己。我选择了一个游戏网站，爬取其手机网游的信息，以此分析影响手机网游评分的因素。

1.数据的爬取

import requests
from bs4 import BeautifulSoup
import json
from openpyxl import Workbook
import numpy as np
import time


list = []
# User Agents
hds = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36',
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding':'gzip, deflate',
        'Accept-Language':'zh-CN,zh;q=0.9',
        'Connection':'keep-alive',
        'Cookie':'BAIDU_SSP_lcr=https://www.baidu.com/link?url=zpwXeCd_RRY2FRQqCVYtuGPcbzYeeabv1UG4aKzI2tdzCbbJPbxXtJc0gsr1KS62&wd=&eqid=d4b30eca0005872c000000055b8f7a0c; Hm_lvt_15b67ce53ef6efd896a81316b10e56a4=1536129772; sec_tc=AQAAANxpbiKZXAcAQoUnd+/VZgti2ZRL; Hm_lpvt_15b67ce53ef6efd896a81316b10e56a4=1536131556'
       }
'''
获得安卓游戏的详细信息所在网址链接
'''
def download(url):
        url_list = []
        try:
                r = requests.request("get", url, headers = hds)

                source_code = r.text
                #print(source_code)

        except Exception as e:
                print(e)

        try:
                i = 0 # 计数器
                soup = BeautifulSoup(r.text,'lxml')
                div = soup.find_all('div',{
  'class':'list_con'})