GO：httputil.DumpRequest、httputil.DumpResponse性能影响

最新推荐文章于 2024-06-03 10:32:30 发布
最新推荐文章于 2024-06-03 10:32:30 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： GO Linux 文章标签： go http 性能 性能测试 Dump
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/test1280/article/details/109715926
版权
Linux 同时被 3 个专栏收录
124 篇文章 3 订阅
订阅专栏
GO
43 篇文章 3 订阅
订阅专栏
那些年我踩过的坑
23 篇文章 0 订阅
订阅专栏

GO：httputil.DumpRequest、httputil.DumpResponse性能影响

结论：

httputil.DumpRequest、httputil.DumpResponse 尤其耗费资源，会大幅度降低程序性能。

测试环境

[test1280@test1280 ~]$ go version
go version go1.13.6 linux/amd64
[test1280@test1280 ~]$ cat /proc/version 
Linux version 2.6.32-642.el6.x86_64 (mockbuild@worker1.bsys.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-17) (GCC) ) #1 SMP Tue May 10 17:27:01 UTC 2016

PS：实际是我笔记本windows下搭建的vmware虚拟机，笔记本型号是：

在这里插入图片描述

测试对比

A.无httputil.DumpRequest的HTTP服务端

测试代码：

package main

import (
	"net/http"
	_ "net/http/pprof"
)


func main() {
	http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
		/* 设置应答头 */
		w.Header().Set("Content-Type", "application/json")

		/* 设置状态码 */
		w.WriteHeader(201)

		/* 设置应答体 */
		w.Write([]byte("{}"))
	})
	http.ListenAndServe(":1280", nil)
}

HTTP服务端很简单，监听1280端口，处理逻辑仅设置应答头、状态码、应答体。

编译并启动HTTP服务：

[test1280@test1280 main]$ go build -v -x -o main main.go
……
[test1280@test1280 main]$ ./main
^C

基于ab压测工具测试：

[test1280@test1280 ~]$ ab -k -n 2000000 -c 100 http://127.0.0.1:1280/

其中：

1.-k指示ab和被测HTTP服务进程之间使用长连接，提高性能（减少大量的TCP链路创建消亡开销）；
2.-n指示ab总共发HTTP请求数量是2000000个；
3.-c指示ab和被测HTTP服务进程之间保持连接数，是100个TCP链路；

在压测期间，使用go原生工具，监控性能：

[test1280@test1280 ~]$ go tool pprof -http "0.0.0.0:8080" http://127.0.0.1:1280/debug/pprof/profile?seconds=10

go tool pprof 将对HTTP服务（main）执行10秒的采样，并创建一个在8080端口的WEB-HTTP服务，供用户查阅性能profile。

注意：一定要在压测期间，监控进程性能，否则在无压力下监控，没有意义。

通过浏览器访问目标服务器的8080端口，查看Flame Graph，如下：

在这里插入图片描述

PS：题外话，可以看到，进程的很大一部分CPU开销在链接的读写和HTTP消息的解析中。

ab执行结束后，结果如下：

[test1280@test1280 ~]$ ab -k -n 2000000 -c 100 http://127.0.0.1:1280/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 200000 requests
Completed 400000 requests
Completed 600000 requests
Completed 800000 requests
Completed 1000000 requests
Completed 1200000 requests
Completed 1400000 requests
Completed 1600000 requests
Completed 1800000 requests
Completed 2000000 requests
Finished 2000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1280

Document Path:          /
Document Length:        2 bytes

Concurrency Level:      100
Time taken for tests:   18.209 seconds
Complete requests:      2000000
Failed requests:        0
Write errors:           0
Keep-Alive requests:    2000000
Total transferred:      276007176 bytes
HTML transferred:       4000104 bytes
Requests per second:    109834.22 [#/sec] (mean)
Time per request:       0.910 [ms] (mean)
Time per request:       0.009 [ms] (mean, across all concurrent requests)
Transfer rate:          14802.26 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       2
Processing:     0    1   0.8      1      19
Waiting:        0    1   0.8      1      19
Total:          0    1   0.8      1      19

Percentage of the requests served within a certain time (ms)
  50%      1
  66%      1
  75%      1
  80%      1
  90%      2
  95%      2
  98%      3
  99%      4
 100%     19 (longest request)

在测试期间，ab（HTTP服务main）平均每秒处理速率是：

Requests per second:    109834.22 [#/sec] (mean)

即，每秒109 834的HTTP请求压力。

B.有httputil.DumpRequest的HTTP服务端

测试代码：

package main

import (
	"net/http"
	"net/http/httputil"
	_ "net/http/pprof"
)


func main() {
	http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
		httputil.DumpRequest(r, true)

		/* 设置应答头 */
		w.Header().Set("Content-Type", "application/json")

		/* 设置状态码 */
		w.WriteHeader(201)

		/* 设置应答体 */
		w.Write([]byte("{}"))
	})
	http.ListenAndServe(":1280", nil)
}

即，新增一行：

httputil.DumpRequest(r, true)

编译并启动HTTP服务，并使用上述的ab压测命令测试。

在压测期间，使用go原生工具，监控性能，结果如下：

在这里插入图片描述
可以看到，httputil.DumpRequest占用CPU总消耗的9.47%！

此时此刻，ab发送的每个请求并没有携带请求正文，假设包含请求正文，这一占比还会增加。

ab执行结束后，结果如下：

[test1280@test1280 ~]$ ab -k -n 2000000 -c 100 http://127.0.0.1:1280/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 200000 requests
Completed 400000 requests
Completed 600000 requests
Completed 800000 requests
Completed 1000000 requests
Completed 1200000 requests
Completed 1400000 requests
Completed 1600000 requests
Completed 1800000 requests
Completed 2000000 requests
Finished 2000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1280

Document Path:          /
Document Length:        2 bytes

Concurrency Level:      100
Time taken for tests:   18.967 seconds
Complete requests:      2000000
Failed requests:        0
Write errors:           0
Keep-Alive requests:    2000000
Total transferred:      276000414 bytes
HTML transferred:       4000006 bytes
Requests per second:    105443.82 [#/sec] (mean)
Time per request:       0.948 [ms] (mean)
Time per request:       0.009 [ms] (mean, across all concurrent requests)
Transfer rate:          14210.22 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       2
Processing:     0    1   0.9      1      20
Waiting:        0    1   0.9      1      20
Total:          0    1   0.9      1      20

Percentage of the requests served within a certain time (ms)
  50%      1
  66%      1
  75%      1
  80%      1
  90%      2
  95%      3
  98%      4
  99%      4
 100%     20 (longest request)

其中，Requests per second 是 105443.82，较之前的 109834.22 有所下降。

总结

我们的项目对性能要求很高，当初我新增了Dump系函数只是方便在DEBUG时能直观地看到HTTP码流。

但是新增Dump系函数后压测发现，程序性能有很大幅度的下降，最终查到是Dump系函数在捣乱。

另外，上面的测试数据也不能说明Golang原生HTTP性能数据，涉及到性能测试，太多的非代码因素影响，例如：

  • 代码问题：连接池数量、空闲连接数、长短连接？……
  • CPU型号
  • Golang编译器版本
  • 虚拟机、物理机配置、版本
  • 压测工具
  • ……

只是说，在相同的环境下，使用Dump系函数，会对性能有较大的影响，并不能说明Golang原生HTTP框架 性能极限 是100 000 HTTP/s。

test1280
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Go: http标准库入门
手写我对你的温柔
10-20 443
Go语言作为一门面向服务的交互网络并发的通用语言。对HTTP的封装是比较好的。一些知名的包：Gin、Beego等 使用http客户端发送请求 使用http.Client控制请求头部 使用httputil简化工作 1.使用httputil简化工作： package main import ( "fmt" "net/http" "net/http/httputil" ) func ...
golang中nethttphttputil库
wang2leee的博客
09-06 213
是Go语言标准库中的一个包，提供了对HTTP请求和响应进行操作和处理的工具函数。该包包含了一些有用的功能，如反向代理、请求转发、请求解析等。
高级 Go 程序设计：使用 net/http/httputil 包构建高效网络服务
最新发布
walkskyer的博客
06-03 519
包是 Go 语言标准库中的一部分，它提供了一些非常实用的工具，主要用于处理 HTTP 请求和响应。这个包特别适合用于开发 HTTP 代理和进行 HTTP 请求/响应的分析。对于中到高级开发者而言，掌握httputil包能够帮助他们更有效地开发复杂的网络服务和进行网络通信的调试。该包的主要特点包括支持反向代理的构建、HTTP 请求/响应的捕获和分析等功能。通过本文，我们将深入探讨httputil包的关键组成部分，展示如何在实际开发中使用这些工具，以及如何通过这些工具来优化你的网络应用。
go标准库httputil.ReverseProxy简单介绍和使用避坑
zhang197093的博客
06-12 5611
很久没水博客了，今天就来水一篇，说说go标准库的httputil.ReverseProxy httputil.ReverseProxy顾名思义，http的反向代理，可以类比nginx的反向代理功能 httputil.ReverseProxy 定义了一组方法让使用者去实现，主要有这几个Director 最核心的方法， 我们可以在这里对请求进行相应的修改，比如设置请求目标的地址，对原有请求头进行增删改，以及对请求体进行处理等等操作。ModifyResponse 可以让我们对响应的结果进行处理，比如修改、读取响应
HttpUtil.java
07-15
非常齐全的http工具类，可以发送/接收各种请求。包括文件的发送，获取，带token验证的请求等
Http工具类HttpUtil.java
09-26
Http工具类HttpUtil.java：这个文件是工作用到的工具类，上传上来以后自己用到或者有同学也需要。 maven项目添加如下的jar包依赖，文件放到项目中修改一下package就可以直接使用了。 <groupId>org.apache....
HttpUtil.kt
07-11
HttpUtil.kt
go http 请求封装
code by code
08-18 921
package resource import ( "encoding/json" "fmt" "io/ioutil" "net/http" uri "net/url" "strings" ) func Get(url string, query map[string]string) (result string, err error) { str := "" i := 0
Go分布式爬虫学习笔记(十五)
成长之路
03-30 1008
代理是指在客户端和服务器之间路由流量的服务，用于实现系统安全、负载均衡等功能。在爬虫项目中，代理服务器常常扮演着重要的角色，它能帮助我们突破服务器带来的限制和封锁，达到正常抓取数据的目的。
goutil：用于golang的util
02-15
Golang通用代码（Generalworks inc）
golang 实现HTTP代理和反向代理
热门推荐
mengxinghuiku的博客
03-23 5万+
代理的核心功能可以用一句话概括：接受客户端的请求，转发到后端服务器，获得应答之后返回给客户端。下图是 《HTTP 权威指南》一书中给出的图例，可以很清晰地说明这一流程： 代理的功能有很多，事实上整个互联网到处都充斥着代理服务器。如果所有的 HTTP 访问都是客户端和服务器端直接进行的话，我们的网络不仅会变得缓慢，而且性能会大打折扣。 代理服务器根据不同的配置和使用，可能会有不同
25、golang中的http库
weixin_36020178的博客
05-31 762
golang中的http库1、http.Get2、http.DefaultClient.Do3、http.Client4、http服务器的性能分析 1、http.Get 使用http.Get发送请求 package main import ( "fmt" "net/http" "net/http/httputil" ) func main() { resp, err := http.Get("http://www.imooc.com") if err != nil { panic(err)
关于golang的http库及常用库
书山有路勤为径
09-01 1万+
go语言作为一个面向网络 面向服务 高并发的一门通用语言 http库是非常重要的 下面我们来了解http库及其他标准库 http库可以对客户端做很多的工作 下面我们来看一下 func main() { resp, err := http.Get("https://mp.csdn.net")//网址是否能够打开 如果能打开返回结构体指针 if err != nil{ //错误返回报...
Golang学习笔记：http标准库
weixin_44032006的博客
03-06 506
在这章中我们主要学习的是go语言得标准库，其中在这些标准库当中，最为重要的是http库，go语言作为一门面向服务，面向网络并发的一门通用语言，它对于http的封装是非常良好的。 本章我们主要学习以下内容 1.使用http客户端发送请求 2.使用http.Client控制请求头部等 3.使...
HTTP踩坑记录
fakegeass的博客
04-18 826
HTTP踩坑记录 proxy 想当然地以为访问https网站，代理地址也需要配置为https://xx.xx，修改为http://后可以使用。具体代码如下： fixedURL, err:= url.Parse("http://username:password@devproxy.h3c.com:8080") transport:=&http.Transport{ Proxy:htt...
HTTP的并发下载 Accept-Ranges
刘贤松的博客
03-23 6279
主要讲三个方面，如何HTTP的并发下载、通过Golang进行多协程开发、如何断点续传。 想要并发下载，就是把下载内容分块，然后并行下载这些块。这就要求服务器能够支持分块获取数据。大迅雷、电驴这种都有自己的协议，thunder://这种，我们只研究原理，就说说HTTP协议对于并发的支持。
Go 学习笔记（76）— Go 标准库 net/http 创建客户端（发送 GET、POST 请求）
wohu1104的专栏
03-22 1878
1. Get 请求 1.1 使用 net/http 包的快捷方法 GET package main import ( "fmt" "io/ioutil" "net/http" ) func main() { resp, err := http.Get("http://www.baidu.com") if err != nil { fmt.Println(err) } defer resp.Body.Close() body, err := ioutil.ReadAll(resp
HttpUtil.createGet和HttpUtil.get有什么区别
03-21
HttpUtil.createGet和HttpUtil.get是两个不同的方法，于发送HTTP GET请求。它们的区别在于： 1. HttpUtil.createGet是创建一个HttpGet对象，但并不发送请求，只是用于构建请求参数。你可以在创建HttpGet对象后，通过设置请求头、请求参数等来定制你的请求。最后，你需要调用HttpClient的execute方法来发送请求并获取响应。 2. HttpUtil.get是一个封装好的方法，它会直接发送GET请求并返回响应结果。你只需要传入请求的URL和可能的请求参数，它会自动处理请求和响应，并返回响应结果。 所以，如果你需要更多的自定义设置，比如设置请求头、请求参数等，你可以使用HttpUtil.createGet来创建HttpGet对象，并通过HttpClient来发送请求。而如果你只需要简单地发送GET请求并获取响应结果，可以直接使用HttpUtil.get方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值