API响应慢问题复现

于 2024-09-18 09:22:07 发布
阅读量83 收藏
点赞数 5
分类专栏： linux/unix python 文章标签： linux python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strayeagle/article/details/142324366
版权

概述

现在测试有个需求，需要验证某个API响应时间，之所以关注这个API时间，是因为有时响应太久，超过30s，估计这个时间客户也无法容忍。

具体要求

具体的API是RAID界面，去list出RAID卡上所有的VD，PD，SSD，RAID card等诸多信息，如果响应时间超过预定时间，比如30s，则认为API出状况了。

上述过程，使用测试脚本完成，一旦响应时间超过预定时间，程序退出。

实践

shell

shell

root@node76:~# cat raid_api_elapsed.sh
#!/bin/bash

PUBLIC_IP=7.73.7.76
STORAGE_IP=1.1.1.76
TIMEOUT=30
LOG_FILE=./raid_api_elapsed.log

# Login
login_res=`curl --insecure --cookie-jar cookie.jar -s -X POST --header "Accept: application/json, text/javascript, */*; q=0.01" --header "Content-Type: application/json" "https://${PUBLIC_IP}:8080/auth" --data '{"password": "1", "user_id": "admin"}'`
login_return_code=`echo ${login_res} | sed 's@{"name": "login", "return_code": @@' | sed 's/}//'`

if [ x"${login_return_code}" == x"300" ]; then
    echo ""
    echo "[ERROR]  Login Failed, exit!!!"
    echo ""
    exit 1
elif [[ ${login_return_code} =~ 'session_id' ]]; then
    echo ""
    echo "Login success"
    echo ""
fi

echo "======================================================= RAID API Elapsed Time Test =======================================================" | tee ${LOG_FILE}

while :
do
    # RAID API
    # start_time=`date +%F-%H-%M.%N`
    start_time=`date "+%Y-%m-%d %H:%M:%S"`
    start_time_stamp=`date -d "${start_time}" +%s`
    start_mills=$((${start_time_stamp}*1000+`date "+%N" | sed 's/^[0]*//'`/1000000))

    result_code=`curl --insecure --cookie cookie.jar --header "Accept: application/json, text/javascript, */*; q=0.01" --header "Content-Type: application/json" -s -I -m ${TIMEOUT} -w %{http_code} "https://${PUBLIC_IP}:8080/system/host/${STORAGE_IP}/disk/raid"`
    end_time=`date "+%Y-%m-%d %H:%M:%S"`
    end_time_stamp=`date -d "${end_time}" +%s`
    end_mills=$((${end_time_stamp}*1000+`date "+%N" | sed 's/^[0]*//'`/1000000))

    if [[ ${result_code} =~ '200' ]]; then
        time_diff=`expr ${end_mills} - ${start_mills}`
        echo "${end_time}  --> OK, elapsed time is : (${time_diff} milliseconds), now sleep 2s" | tee ${LOG_FILE}
        sleep 2
    elif [[ ${result_code} =~ '401'  ]]; then
        echo "[WARN]  Session timeout, login again"
        curl --insecure --cookie-jar cookie.jar -s -X POST --header "Accept: application/json, text/javascript, */*; q=0.01" --header "Content-Type: application/json" "https://${PUBLIC_IP}:8080/auth" --data '{"password": "1", "user_id": "admin"}'
    else
        echo "${end_time}  [ERROR]  Cost more than ${TIMEOUT}s, exit!" | tee ${LOG_FILE}
        echo ""
        exit 1
    fi
done

核心是-s -I -m 10 -w %{http_code}，解释一下携带的参数信息：

shell

-I 仅测试HTTP头

-m 10 最多查询10s

-o /dev/null 屏蔽原有输出信息

-s silent 模式，不输出任何东西

-w %{http_code} 控制额外输出

这里还有另外一个方法:

shell

root@node76:~# curl --insecure --cookie cookie --header 'Accept: application/json, text/javascript, */*; q=0.01' --header 'Content-Type: application/json' -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" https://7.73.7.76:8080/system/host/1.1.1.76/disk/raid
time_connect: 0.000
time_starttransfer: 8.435
time_total: 8.436
root@node76:~#

可以根据time_total时间来判断，此时间超过一定值，就退出。

shell

root@node76:~# cat raid_api_elapsed2.sh 
#!/bin/bash

PUBLIC_IP=7.73.7.76
STORAGE_IP=1.1.1.76
TIMEOUT=30
LOG_FILE=./raid_api_elapsed.log

# Login
login_res=`curl --insecure --cookie-jar cookie.jar -s -X POST --header "Accept: application/json, text/javascript, */*; q=0.01" --header "Content-Type: application/json" "https://${PUBLIC_IP}:8080/auth" --data '{"password": "1", "user_id": "admin"}'`
login_return_code=`echo ${login_res} | sed 's@{"name": "login", "return_code": @@' | sed 's/}//'`

if [ x"${login_return_code}" == x"300" ]; then
    echo ""
    echo "[ERROR]  Login Failed, exit!!!"
    echo ""
    exit 1
elif [[ ${login_return_code} =~ 'session_id' ]]; then
    echo ""
    echo "Login success"
    echo ""
fi

echo "======================================================= RAID API Elapsed Time Test =======================================================" | tee ${LOG_FILE}

while :
do
    # RAID API
    start_time=`date "+%Y-%m-%d %H:%M:%S"`

    time_total=`curl --insecure --cookie cookie.jar --header "Accept: application/json, text/javascript, */*; q=0.01" --header "Content-Type: application/json" -o /dev/null -s -w "%{time_total}\n" "https://${PUBLIC_IP}:8080/system/host/${STORAGE_IP}/disk/raid"`
    end_time=`date "+%Y-%m-%d %H:%M:%S"`

    int_time_total=`echo $time_total | cut -d '.' -f1`
    if [[ ${int_time_total} -lt ${TIMEOUT} ]]; then
        echo "${end_time}  --> OK, elapsed time is : (${time_total} milliseconds), now sleep 2s" | tee ${LOG_FILE}
        sleep 2
    elif [[ ${result_code} =~ '401'  ]]; then
        echo "[WARN]  Session timeout, login again"
        curl --insecure --cookie-jar cookie.jar -s -X POST --header "Accept: application/json, text/javascript, */*; q=0.01" --header "Content-Type: application/json" "https://${PUBLIC_IP}:8080/auth" --data '{"password": "1", "user_id": "admin"}'
    else
        echo "${end_time}  [ERROR]  Cost time : (${time_total}) is more than ${TIMEOUT}s, exit!" | tee ${LOG_FILE}
        echo ""
        exit 1
    fi
done

python

python

root@node76:~# cat raid_api_elapsed.py 
#!/usr/bin/env python
# -*- coding: utf-8 -*-

from __future__ import unicode_literals

import sys
import json
import time
import requests
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)


class HttpSession(requests.Session):
    """  http request session  """

    def __init__(self):
        super(HttpSession, self).__init__()

        # Not verify SSL certificate
        self.verify = False

        # timeout time
        self.timeout = (60, 600)

        # session information
        self.session = ""

    def login_session(self, user_id, password, public_ip):
        """ Login Session """
        login_url = "https://{}:8080/auth".format(public_ip)

        login_data = {"user_id": user_id,
                     "password": password}

        self.session = requests.session()
        self.session.keep_alive = False
        self.session.headers.update({'Accept': 'application/json, text/javascript, */*; q=0.01'})
        # print("[Login]    login_url: %s, login_data: %s", login_url, json.dumps(login_data))
        response = self.session.request("POST", login_url, json=login_data, verify=False)

        if response.status_code != 200:
            print("[ERROR]  Login web error, http status code is {}".format(response.status_code))
            sys.exit(1)

        return self.session

    def http_request(self, session, http_method, url, user_id, password, public_ip, params=None, data=None):
        """  Send HTTP request, support GET/POST  """
        params = {} if params is None else params
        data = {} if data is None else data

        # set SSL Verify to False
        session.verify = False

        # Set session keep alive to False
        session.keep_alive = False

        try:
            start_time = time.time()
            start_trans = time.localtime(start_time)
            format_start_time = time.strftime('%Y-%m-%d %H:%M:%S.%3d', start_trans)

            if "cgi-bin" in url:
                # Legacy CGI
                response = session.request(http_method, url, params=params, data=data)
                if response.status_code == 401:
                    session = self.login_session(user_id, password, public_ip)
                    response = session.request(http_method, url, params=params, data=data)
            else:
                # Restful CGI
                response = session.request(http_method, url, params=params, json=data)

                if response.status_code == 401:
                    session = self.login_session(user_id, password, public_ip)
                    response = session.request(http_method, url, params=params, json=data)

            elapsed_sec = response.elapsed.seconds
            if elapsed_sec >= 30:
                print("[{}]  [ERROR]  URL response elapsed time : ({}), return_text : ({})".format(format_start_time, elapsed_sec, response.text))
                sys.exit(1)
            else:
                print("[{}]    URL response elapsed time : ({})".format(format_start_time, elapsed_sec))
        except Exception as ex:
            print("[WARN]  Session request exception : (%s)", str(ex))

        return response


def call_raid_api(user_id, password, http_method, url, public_ip, storage_ip):
    """  Call API """
    session = HttpSession()
    login_s = session.login_session(user_id, password, public_ip)

    for i in xrange(100):
        session.http_request(login_s, http_method, url, user_id, password, public_ip) 


if __name__ == '__main__':
    public_ip = '7.73.7.76'
    storage_ip = '1.1.1.76'
    user_id = 'admin'
    password = '1'
    http_method = 'GET'
    url = "https://{}:8080/system/host/{}/disk/raid".format(public_ip, storage_ip)

    call_raid_api(user_id, password, http_method, url, public_ip, storage_ip)

测试效果如下：

shell

shell

root@node76:~# tailf raid_api_elapsed.log 
2020-06-12 12:41:05  --> OK, elapsed time is : (8433 milliseconds), now sleep 2s
2020-06-12 12:41:27  --> OK, elapsed time is : (8514 milliseconds), now sleep 2s
2020-06-12 12:41:37  --> OK, elapsed time is : (8698 milliseconds), now sleep 2s
2020-06-12 12:41:48  --> OK, elapsed time is : (8518 milliseconds), now sleep 2s
2020-06-12 12:42:09  --> OK, elapsed time is : (8436 milliseconds), now sleep 2s
2020-06-12 12:42:20  --> OK, elapsed time is : (8660 milliseconds), now sleep 2s
2020-06-12 12:42:51  --> OK, elapsed time is : (8559 milliseconds), now sleep 2s
2020-06-12 12:43:02  --> OK, elapsed time is : (8501 milliseconds), now sleep 2s
2020-06-12 12:43:12  --> OK, elapsed time is : (8597 milliseconds), now sleep 2s
2020-06-12 12:43:23  --> OK, elapsed time is : (8470 milliseconds), now sleep 2s
.................................. 中间省略 ....................................
2020-06-12 12:53:50  --> OK, elapsed time is : (8632 milliseconds), now sleep 2s
2020-06-12 12:54:00  --> OK, elapsed time is : (8605 milliseconds), now sleep 2s
2020-06-12 12:54:22  --> OK, elapsed time is : (8526 milliseconds), now sleep 2s
2020-06-12 12:55:04  --> OK, elapsed time is : (8507 milliseconds), now sleep 2s
2020-06-12 12:55:14  --> OK, elapsed time is : (8483 milliseconds), now sleep 2s
2020-06-12 12:56:07  --> OK, elapsed time is : (8357 milliseconds), now sleep 2s
2020-06-12 12:56:39  --> OK, elapsed time is : (8671 milliseconds), now sleep 2s
2020-06-12 12:56:50  --> OK, elapsed time is : (8573 milliseconds), now sleep 2s
2020-06-12 12:57:11  --> OK, elapsed time is : (8435 milliseconds), now sleep 2s
2020-06-12 12:57:26  [ERROR]  Cost more than 30s, exit!

python

shell

root@node76:~# python raid_api_elapsed.py 
[2020-06-12 14:33:13.012]    URL response elapsed time : (8)
[2020-06-12 14:33:22.012]    URL response elapsed time : (8)
[2020-06-12 14:33:30.012]    URL response elapsed time : (8)
[2020-06-12 14:33:39.012]    URL response elapsed time : (8)
[2020-06-12 14:33:48.012]    URL response elapsed time : (8)
[2020-06-12 14:33:56.012]    URL response elapsed time : (8)
[2020-06-12 14:34:05.012]    URL response elapsed time : (8)
[2020-06-12 14:34:13.012]    URL response elapsed time : (8)
.......................... 中间省略 .........................
[2020-06-12 14:39:30.012]    URL response elapsed time : (8)
[2020-06-12 14:39:38.012]    URL response elapsed time : (13)
[2020-06-12 14:39:52.012]    URL response elapsed time : (8)
.......................... 中间省略 .........................
[2020-06-12 14:44:19.012]    URL response elapsed time : (9)
[2020-06-12 14:44:29.012]    URL response elapsed time : (9)
[2020-06-12 14:44:38.012]    URL response elapsed time : (9)
[2020-06-12 14:44:47.012]    URL response elapsed time : (8)
[2020-06-12 14:44:55.012]    URL response elapsed time : (9)
[2020-06-12 14:45:05.012]    URL response elapsed time : (9)
[2020-06-12 14:45:14.012]    URL response elapsed time : (8)
[2020-06-12 14:45:23.012]    URL response elapsed time : (8)
[2020-06-12 14:45:31.012]    URL response elapsed time : (8)
[2020-06-12 14:45:40.012]  [ERROR]  URL response elapsed time : (39), return_text : ({"assigned": [{"vd": "0", "current_cache_policy": "WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU", "drive_num": "7", "pds": [{"slot": "1", "copyback_progress": null, "other_error": 0, "healthy": "none", "rebuild_progress": null, "adapter": null, "size": "7.277 TB", "media_error": 0, "pd_type": "SATA", "lifetime_remaining": -1, "firmware_state": "Online, Spun Up", "pd": "0", "media_type": "HDD", "device_id": "38", "smart_info": "smartctl 7.0 2018-12-30 r4883 [x86_64-linux-4.14.148-server] (local build)\nCopyright (C) ....后面省略，这里展示具体的response详细信息...

其他

看了同事写的一个python版本，非常简洁，不过没有考虑session过期问题，脚本内容参考如下:

python

root@246:/home# cat c.py 
# -*- coding: utf-8 -*-

import time
import urllib3
import requests

urllib3.disable_warnings()

ip = "1.1.7.246"
storage_ip = "1.1.1.246"
headers = {"accept": "application/bigtera.vs.v1+json, application/json"}

session = requests.Session()
# login
url = "https://{}:8080/auth".format(ip)
response = session.post(
    url, json={"user_id": "admin", "password": "1"}, headers=headers, verify=False
)

while True:
    start = time.time()
    # get raid info
    url = "https://{}:8080/system/host/{}/disk/raid".format(ip, storage_ip)
    response = session.get(url, headers=headers, verify=False)
    end = time.time()
    try:
        response.raise_for_status()
    except Exception as e:
        print(e)
        break

    if end - start > 10:
        print("last request cost {} seconds", end - start)
        break


来源: Transcendent
文章作者: Gavin Wang
文章链接: API响应慢问题复现 | Transcendent
本文章著作权归作者所有，任何形式的转载都请注明出处。

strayeagle
关注
专栏目录
部署大模型API的实战教程
herosunly的博客
01-17 6万+
今天给大家带来的文章是部署大模型API的实战教程，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 测试API
API 请求慢？这次锅真不在后端
2401_83384536的博客
08-01 721
原本这个问题认为跟前端无关，没想到最后吃瓜吃到自己头上。提升相关技能的知识储备以及思考问题的方式，可能会方便我们定位到此类问题。充分利用好浏览器的调试工具，对一个问题可以从多个角度出发进行思考。比如一开始，没想到本地也可以开启 HTTP / 2。后来偶然间想搜下是否有此类方案，结果还真有！
Docker API 未授权访问 getshell——漏洞复现
W小哥
10-22 5351
一、Docker介绍 Docker 是一个开源的引擎可以轻松地为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署包括 VMs、bare metal、OpenStack 集群和其他的基础应用平台Docker。 二、Docker API 未授权访问介绍 Docker Remote API 是一个取代远程命令行界面（rcli）的REST API。 存在问题的版本分别为 1.3 和 1.6 因为权限控制等问题导致可以通过 docker client 或
http响应拆分漏洞 java_如何使用ESAPI修复HTTP响应拆分漏洞
weixin_33335559的博客
02-23 1109
在最近运行findbugs(fb)之后，它抱怨一个：security-http响应拆分漏洞，以下代码触发它：String referrer = req.getParameter("referrer");if (referrer != null) {launchURL += "&referrer="+(referrer);}resp.sendRedirect(launchURL);基本上，“...
登录接口压测响应慢频繁GC问题排查
cheetahlover的博客
06-03 3035
登录接口压测响应慢GC问题排查 2020.5.22 最近项目组针对几个较重要的接口进行了几十个小时的压测，发现登录接口的压测呈现了一种响应慢且越来越慢的趋势，CPU 也居高不下 压测情况 查看CPU占用情况如图所示： 找到对应服务包是鉴权服务(auth)： 持续运行3小时的CPU占用曲线图： 结论：sc-auth包中的登录接口，占用CPU较高，需要优化。 排查思路 业务场景很简单，账号密码鉴权登录接口。 先排查为什么CPU占用率高 从top命令的结果发现。pid为15082的
fastapi 接口阻塞问题处理
qq_42006301的博客
05-19 7097
fastapi 调用某个接口的时，其他的接口都被阻塞住了背景问题复现解决方法1解决方法2总结 背景 在使用fastapi框架开发时，遇到一个坑，在请求某个耗时的接口时，再请求其他接口，发现请求都被阻塞卡住了，经过排查问题，发现是async使用不当导致的 问题复现 这里写了一个小demo文件，里面有耗时函数work 和 两个接口 /test1、 /test2 def work(s): print("work start work") time.sleep(s) print("work
缓存加载问题引发的故障复现
qq_43748391的博客
02-03 330
故障复现
API接口渗透测试
Fly_鹏程万里
03-01 6763
1 API 接口介绍 1.1 RPC（远程过程调用） 远程过程调用（英语：Remote Procedure Call，缩写为 RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序员无需额外地为这个交互作用编程。如果涉及的软件采用面向对象编程，那么远程过程调用亦可称作远程调用或远程方法调用，例：Java RMI。 RPC 一般直接使用 TCP 协议进行...
如何有效复现偶现问题
weixin_30909575的博客
01-23 676
在测试过程中经常会遇到概率性的问题，很是棘手，也很慌张。开发人员会问有没有复现路径， 如果没有的话，这个问题被解决的概率也会很小。作为测试人员，要尝试复现此问题，因为问题在上线前不解决的话，线上用户也很可能会遇到此问题，问题严重的话很可能造成用户流失。在后续的测试过程中，如果仍会遇到此问题，可留意一下两次出现问题的场景并尝试复现。 下次要是再遇到概率性的问题，不要慌张，可尝试从一下角度来分析：*...
API接口知识小结
詹Sir的博客
03-21 5896
应用程序接口API（Application Programming Interface），是提供特定业务输出能力、连接不同系统的一种约定。这里包括外部系统与提供服务的系统（中后台系统）或后台不同系统之间的交互点。包括外部接口、内部接口，内部接口又包括：上层服务与下层服务接口、同级接口。 本文站在产品经理角度由浅入深讲述接口相关知识。如果不想被视为技术大佬眼中什么都不懂的需求搬运工，清楚接口的相关知识是很有必要的。 常见web接口是http/https协议的接口，多用于外部系统或前端系统的调用，因为此类接
Spring Cloud Gateway Actuator API SpEL表达式注入命令执行 0day 漏洞复现
12-26
本文将详细探讨一个重要的安全问题——Spring Cloud Gateway Actuator API 的SpEL（Spring Expression Language）表达式注入漏洞（CVE-2022-22947），该漏洞可能导致命令执行，对系统安全构成严重威胁。首先，我们...
navicate远程linux上的pgsql提示密码失败
记录、分享、合作、共赢
09-14 298
2、postgresql.conf文件中，修改listen_addresses。3、重启pgsql，例如：systemctl restart pgsql。1、pg_hba.conf文件中，ipv4下面的内容改成。4、如果问题还在，检查firewalld防火墙，执行。5、再次尝试连接，成功！
【Linux】：信号与信号产生
Yikefore的博客
09-12 959
信号的基本概念、对信号的理解、信号的多种产生方式以及核心转储的详细介绍！
linux-网络相关概念
最新发布
zdd56789的博客
09-17 380
linux-网络相关概念
Linux如何使用sed命令进行文本替换
yang295242361的博客
09-12 538
在Linux中，sed（Stream Editor）是一个用于处理文本流的命令行工具，它非常适合用于执行基本的文本转换。sed可以读取输入的文本文件，根据指定的指令对文本进行处理，并将结果输出到标准输出设备。
linux 中删除乱码中文名文件
她的吻让他
09-13 257
在操作linux时会不经意将带有中文的文件发送到linux系统,但是有些linux系统不能识别中文以及中文符号等,会导致linux shell命令无法操作这些文件。想要删除无法识别名字的文件,需要找到其inode 号,通过inode 删除文件。find . -inum inode号 -exec rm {} \;整体操作分为两条指令。
linux实用操作
lonelyxxyo的博客
09-13 1657
环境变量PATH这个项目里面记录了系统执行命令的搜索路径。这些搜索路径我们也可以自行添加到PATH中去。黑马教学案例：测试：在当前HOME目录内创建文件夹，myenv，在文件夹内创建文件mkhaha通过vim编辑器，在mkhaha文件内填入：echo 哈哈哈哈哈完成上述操作后，随意切换工作目录，执行mkhaha命令尝试一下，会发现无法执行修改PATH的值。
Linux.之设备树DTS（device tree source）（一）
rjszcb的博客
09-11 318
Linux.之设备树DTS（device tree ）
一个linux下监听某个端口并拉起任务的shell脚本
唯有热爱 可抵万难
09-12 371
注意替换脚本和日志为自己的 绝对路径的文件。替换为你创建的监控脚本的文件名。
swagger漏洞复现
06-29
Swagger 是一个流行的 API 设计和文档生成工具，但像任何软件一样，它可能存在安全漏洞。复现 Swagger 漏洞通常涉及到以下几个步骤： 1. **漏洞识别**：首先需要找到 Swagger 安全漏洞的相关报告或文档，这些可能来自安全研究员的博客、CVE（Common Vulnerabilities and Exposures）公告或其他安全社区。 2. **漏洞利用**：理解漏洞的具体细节，这可能涉及对 Swagger 客户端库、服务器端实现或其配置文件的特定攻击路径。有时候，可能需要构造特定的请求或提供特定的数据来触发漏洞。 3. **环境准备**：在本地环境中设置一个 Swagger 服务，并确保配置和版本与已知漏洞匹配，以便进行复现。 4. **复现过程**：使用工具如 Postman、curl 或自动化测试框架发送特定的请求，监控响应以确认漏洞是否被成功利用。 5. **证据收集**：记录下漏洞利用过程中的请求、响应以及任何敏感信息的泄露，作为漏洞复现的证据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值