用python爬取3dm上的单机游戏评测信息

#爬取3dm上单机游戏评测榜，50页的相关信息

import requests
from lxml import etree
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
}
def index():
    for num in range(1,50,1):
        try:
            base_url='https://www.3dmgame.com/original_40_{0}/'.format(num)
            response=requests.get(base_url,headers=headers)
            # print(response.status_code)
            print(base_url+'访问成功')
            response.encoding=('utf-8')
        except:
            print("error")
        html=response.text
        clean(html)
def clean(html):
    #代码预处理
    html=etree.HTML(html)
    # print(html)
    #xpath守则
    game_name=html.xpath("//div[@class='bt']/a/text()")
    game_score=html.xpath("//a[@class='font']/text()")
    test_time=html.xpath("//div[@class='time']/text()")
    short_list=html.xpath("//div[@class='p']/p/text()")
    # hot_index=html.xpath("//span[@class='selectarcnum']/text()")
    # print(game_score)
    # print(game_score)
    # print(test_time)
    for name,score,time ,list in zip(game_name,game_score,test_time,short_list):
        #提取游戏名称
        name=name.split('》')[0]
        name=name+'》'
        #游戏单体信息加工
        info=name+'  3dm评分：'+score+'\n\t\t3dm评测时间：'+time+'\n\t\t简介：'+list+'\n'
        # print(info)
        #保存信息
        sto(info)
def sto(info):
    fp.write(info)
if __name__ == '__main__':
    fp=open('./3dm游戏评测.txt','a',encoding='utf-8')
    index()
    fp.close()

参考结果

《全面战争：三国》 3dm评分：8.2
3dm评测时间：2020-09-01 22:00:00
简介：南蛮的野兽部队，靠滑铲可对付不了。
《枪火重生》 3dm评分：8.0
3dm评测时间：2020-08-31 13:40:22
简介：游戏还是要好玩才是硬道理，兼具系统深度与重复可玩性的《枪火重生》，会是消磨酷夏时光的一大杀器。
《Spiritfarer》 3dm评分：8.5
3dm评测时间：2020-08-30 21:37:03
简介：当看到游戏有着拥抱的功能后，我就知道，这会是个好游戏。
《控制》 3dm评分：8.0
3dm评测时间：2020-08-29 19:07:17
简介：喜欢本体的，玩就对了。
《曲途》 3dm评分：7.0
3dm评测时间：2020-08-28 20:37:21
简介：要跳要舞，要跳得出类拔萃，要舞得让大家心悦诚服。
《废墟战旗》 3dm评分：7.0
3dm评测时间：2020-08-27 19:27:37
简介：兽人确实很棒。
《雨中冒险2》 3dm评分：8.0
3dm评测时间：2020-08-26 11:31:55
简介：玩着玩着，一小时便过去了
《全网公敌》 3dm评分：7.5
3dm评测时间：2020-08-25 18:55:47
简介：答案都在细节里
《英雄传说：创之轨迹》 3dm评分：8.5
3dm评测时间：2020-08-22 20:03:01
简介：量大管饱的系列里程碑。
《冰汽时代》 3dm评分：7.0
3dm评测时间：2020-08-21 19:57:59
简介：To be,or not to be.
《浴血黑帮：傀儡师》 3dm评分：8.0
3dm评测时间：2020-08-20 21:00:00
简介：英伦黑帮，西装暴徒
《全面战争传奇：特洛伊》 3dm评分：8.2
3dm评测时间：2020-08-19 20:06:45
简介：这次的古希腊神话，代入感比三国好太多了。
《致命躯壳》 3dm评分：8.8
3dm评测时间：2020-08-18 12:00:00
简介：在《致命躯壳》里，攻击可以成为最好的防守