python爬取网站json,并提取表格特定的列

import pandas as pd
import os
import requests

# 创建“独角兽榜单”文件夹
desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')
foldername = '独角兽榜单'
folderpath = os.path.join(desktop_path, foldername)
if not os.path.exists(folderpath):
    os.makedirs(folderpath)

# 获取 Hurun 榜单并保存为 Excel 文件
url = 'https://www.hurun.net/zh-CN/Rank/HsRankDetailsList?num=2VXMC96V&search=&offset=0&limit=1311'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Referer': 'https://www.google.com/'
}
response = requests.get(url, headers=headers).json()
df_hurun = pd.json_normalize(response['rows'])
selected_columns = ['hs_Rank_Unicorn_Ranking', 'hs_Rank_Unicorn_Wealth', 'hs_Rank_Unicorn_ChaName_Cn', 'hs_Rank_Unicorn_ComName_Cn', 'hs_Rank_Unicorn_ComHeadquarters_Cn', 'hs_Rank_Unicorn_Industry_Cn']
df_hurun_selected = df_hurun[selected_columns]
filename = 'hurun_unicorns.xlsx'
filepath = os.path.join(folderpath, filename)
df_hurun_selected.to_excel(filepath, index=False)

打开F12-网络,在JS或fetch或文档中找到需要请求的url 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值