【无标题】小说榜单书目数据的爬取，并存入json文件以及Excel表格

##请求网址：https://www.xxsy.net/rank(潇湘书院)
引入模块包括re、json、requests
如果引入报错，可能是没有安装对应模块：pip install re/json/requests

##json_test.py
实现功能点描述：获取页面榜单数据字符串，并转成json格式，剥离作者、标题、书目类型、书目标签、书目简介等字段信息；
写入json文件

import requests
import re
import json



url='https://www.xxsy.net/rank'
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
res = requests.get(url=url,headers=headers)

json_data = json.loads(re.findall(r'<script id="vite-plugin-ssr_pageContext" type="application/json">(.*?)</script>',res.text)[0])
rank_list = json_data['pageContext']['pageProps']['pageData']

book_list = [j for i in rank_list for j in i.get('bookList')]
# 作者、标题、书目类型、书目标签
author = tuple(map(lambda x:x.get('author'),book_list))
title = tuple(map(lambda x:x.get('title'),book_list))
book_type= tuple(map(lambda x:x.get('catel2name'),book_list))
book_tag = tuple(map(lambda x:'/'.join(tuple(map(lambda y:y.get('tagName'),x.get('bookTagInfo')))),book_list))
book_intro = tuple(map(lambda x:x.get('intro'),book_list))
Data = list(map(lambda x:{'作者':x[1],'书名':title[x[0]],'书籍类别':book_type[x[0]],'书籍标签':book_tag[x[0]],'书籍简略内容':book_intro[x[0]]},enumerate(author)))

with open('xxsy_rank.json','w',encoding='utf-8') as f:
    json.dump(Data,f,ensure_ascii=False,indent=2)

运行效果：

##json_test2.py
实现功能点描述：读取json文件数据

import json
with open('xxsy_rank.json','r',encoding='utf-8') as f:
    data = json.load(f)

print(data)

##excel_test.py
实现功能点描述：
数据格式整理成键值对格式，写入excel表格

import json
import pandas as pd

with open('xxsy_rank.json','r',encoding='utf-8')as f:
    data = json.load(f)

excel_data = {
    '作者':tuple(map(lambda x:x.get('作者'),data)),
    '书名':tuple(map(lambda x:x.get('书名'),data)),
    '书籍类别':tuple(map(lambda x:x.get('书籍类别'),data)),
    '书籍标签':tuple(map(lambda x:x.get('书籍标签'),data)),
    '书籍简略内容':tuple(map(lambda x:x.get('书籍简略内容'),data)),
}
df = pd.DataFrame(excel_data)
'''
excel 文件的写入
csv文件的默认编码格式不是utf-8,需要指定编码格式
xlsx  to_excel

'''

df.to_csv('text.csv',encoding='utf_8_sig')
df.to_excel ('text.xlsx',index=False)

实现效果：