Python+requests—get请求模板

一晌小贪欢

于 2024-10-03 08:17:40 发布

阅读量187

点赞数 2

分类专栏： Python爬虫文章标签： python 开发语言 python办公爬虫 python爬虫

本文链接：https://blog.csdn.net/weixin_42636075/article/details/142631834

版权

Python爬虫专栏收录该内容

32 篇文章 38 订阅

订阅专栏

专栏导读

🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手

🏳️‍🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注

👍 该系列文章专栏：请点击——>Python办公自动化专栏求订阅

🕷 此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅

📕 此外还有python基础专栏：请点击——>Python基础学习专栏求订阅

文章作者技术和水平有限，如果文中出现错误，希望大家能指正🙏

❤️ 欢迎各位佬关注！ ❤️

库的介绍

库的安装

库	用途	安装
requests	爬虫库	`pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple/`
os	获取绝对路径	内置库无需安装

代码

# -*- coding: UTF-8 -*-
"""
@Project ：客户主数据查询-业务BP查询
@File    ：爬虫.py
@IDE     ：PyCharm
@Author  ：一晌小贪欢
@Date    ：2024/9/29 10:18
"""

import json
import os
import time
import requests

# 设置请求参数
url = 'https://www.xxxxxx.com/'
headers = {
    "Cookie": "",  # 请在此处输入您的Cookie
    'Host': 'ciam-web.sf-express.com',
    'Referer': 'http://ciam-web.sf-express.com/index.html',
    'Accept': 'application/json, text/plain, */*',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0'
}

params = {
    "key1": "value",
    "key2": "value",
    "key2": "value",
    "key2": "value",
    "key2": "value"
}

max_retries = 5  # 最大重试次数
retry_delay = 5  # 重试间隔（秒）

def fetch_data(url, params, headers):
    attempt = 0
    while attempt < max_retries:
        try:
            response = requests.get(url, params=params, headers=headers, timeout=10)
            response.raise_for_status()  # 如果响应状态码不是200，将抛出HTTPError异常
            return response.json()  # 返回解析后的JSON数据
        except requests.exceptions.RequestException as e:
            print(f"请求失败：{e}，尝试第 {attempt + 1} 次重试...")
            attempt += 1
            time.sleep(retry_delay)  # 等待一段时间后重试

    print("已达到最大重试次数，请求失败。")
    return None  # 返回None表示请求失败

def save_data(data, filename):
    """将数据保存到JSON文件中"""
    with open(filename, 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=4)
    print(f"数据已保存到 {filename}")

def main():
    data = fetch_data(url, params, headers)
    if data:
        save_data(data, 'result.json')  # 可以修改为你想要的文件名

if __name__ == "__main__":
    main()