一个完整的网站数据代码

import requests
import json
import pandas as pd
import time

def getTextFromUrl(url):
    headers = {
        "Referer": "https://www.chinamoney.com.cn/chinese/bkfrr/",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 Edg/125.0.0.0"
    }
    response = requests.post(url=url,headers=headers)
    response .encoding = "utf-8"
    return response
def parseResText2jsonlist(text):
    #在字符串中找到需去掉的内容:"reccords"
    startIndex = text.find("records")
    print("获取起始索引,",startIndex)
    #找到最后一个”】“的位置
    endIndex =text.find("]")+1
    print("截取索引结束,",endIndex)
    #通过起始位置和结束位置找到[]之间的数据
    str =text[startIndex:endIndex].replace("records","")
    #将获取的数据解析成json列表
    jsonlist = json.loads(str[2:])
    return jsonlist
if __name__=="__main__":
 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值