wrk压测TF-serving

该博客介绍了如何通过Docker启动TensorFlow Serving服务,并使用curl进行功能验证。接着,利用wrk工具在Mac和Linux环境下安装和配置,编写test.lua脚本来进行性能测试,展示了20秒内的请求速率、延迟分布等关键指标。
摘要由CSDN通过智能技术生成

serving服务

# 启动镜像
docker run -t --rm -p 8501:8501 \
-v "${PATH}/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/models/half_plus_two" \
-e MODEL_NAME=half_plus_two \
tensorflow/serving &

# 验证
curl -d '{"instances": [1.2, 2.0, 5.0]}' \
-X POST http://localhost:8501/v1/models/half_plus_two:predict

安装

mac: 
	brew install wrk
linux: 
	git clone https://github.com/wg/wrk.git 
	make

编辑test.lua

wrk.method = "POST"
wrk.headers["Content-Type"] = "application/json"
wrk.body = '{"instances": [1.2, 2.0, 5.0]}'

压测

wrk -t8 -c200 -d20s --script=test.lua --latency http://localhost:8501/v1/models/half_plus_two:predict

# 结果
Running 20s test @ http://localhost:8501/v1/models/half_plus_two:predict
  8 threads and 200 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency    49.89ms   31.43ms 322.27ms   94.01%
    Req/Sec   550.19    145.19   790.00     70.58%
  Latency Distribution
     50%   41.94ms
     75%   49.79ms
     90%   64.09ms
     99%  215.99ms
  86347 requests in 20.09s, 15.48MB read
  Non-2xx or 3xx responses: 86347
Requests/sec:   4297.20
Transfer/sec:    788.94KB
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值