HTTP/2 in GO(二)

最新推荐文章于 2024-08-26 08:42:10 发布
最新推荐文章于 2024-08-26 08:42:10 发布
阅读量1.3k 收藏
点赞数
分类专栏： GO开发知识

HTTP/2 in GO(一)

HTTP/2 in GO(二)

HTTP/2 in GO(三)

HTTP/2 in GO(四)

HTTP/2 in GO(五)

 

上一篇文章中介绍了HTTP/2的二进制分帧和多路复用的特性，这次来介绍下头部压缩和服务端推送。

HTTP/2新增特性

 

  • 二进制分帧(HTTP Frames)

  • 多路复用

  • 头部压缩

  • 服务端推送(Server Push)

1

头部压缩

在HTTP/1.x中，每次HTTP请求都会携带需要的header信息，这些信息以纯文本形式传递，所以每次的请求和响应，都会浪费一些带宽，如果header信息中包含cookie等之类的信息，那么浪费的带宽就更可观了。为了减少带宽开销和提升性能，HTTP/2 使用 HPACK 压缩格式压缩请求和响应标头元数据，这种格式采用两种简单但是强大的技术：

  • 这种格式支持通过静态Huffman 编码对传输的header字段进行编码，从而减小了传输的大小。

  • 这种格式要求客户端和服务器同时维护和更新一个包含之前见过的header字段的索引列表（换句话说，它可以建立一个共享的压缩上下文），此列表随后会用作参考，对之前传输的值进行有效编码。

利用 Huffman 编码，可以在传输时对各个值进行压缩，而利用之前传输值的索引列表，我们可以通过传输索引值的方式对重复值进行编码，索引值可用于有效查询和重构完整的标头键值对。

客户端和服务端都有一个内置的静态表，部分内容如下：

静态表
+-------+-----------------------------+---------------+
| Index | Header Name                 | Header Value  |
+-------+-----------------------------+---------------+
| 1     | :authority                  |               |
| 2     | :method                     | GET           |
| 3     | :method                     | POST          |
| 4     | :path                       | /             |
| 5     | :path                       | /index.html   |
| 6     | :scheme                     | http          |
| 7     | :scheme                     | https         |
| 8     | :status                     | 200           |
| 9     | :status                     | 204           |
| 10    | :status                     | 206           |
| 11    | :status                     | 304           |
| 12    | :status                     | 400           |
| 13    | :status                     | 404           |
| 14    | :status                     | 500           |
| 15    | accept-charset              |               |
| 16    | accept-encoding             | gzip, deflate |
| 17    | accept-language             |               |
...
| 58    | user-agent                  |               |
| 59    | vary                        |               |
| 60    | via                         |               |
| 61    | www-authenticate            |               |
+-------+-----------------------------+---------------+          

可以看到，部分静态表已经包含了value，比如 Index=2 的 :method = GET，当客户端发起请求时，如果发起的是GET请求，那么只需要在Header信息中携带一个Index=2的索引即可，服务端收到通过静态表即可查出对应的请求头信息。 
在静态表中传输的Header Block是这种格式的：

     0   1   2   3   4   5   6   7
   +---+---+---+---+---+---+---+---+
   | 1 |        Index (7+)         |
   +---+---------------------------+

从图中可以看到，只需要8-bit即可实现一个method的Header传输:

640?wx_fmt=jpeg

with index

对于静态表中不存在value的值，或者value的值跟想传递的值不一样时，就不能只传递简单的Index了；比如对于:path的头信息，如果要请求的path不在静态表里，就需要用到 Huffman 编码 了。 
假设:path的值为/post/20180811-http2_in_go_1.html

     0   1   2   3   4   5   6   7
   +---+---+---+---+---+---+---+---+
   | 0 | 0 | 0 | 0 |  Index (4+)   |
   +---+---+-----------------------+
   | H |     Value Length (7+)     |
   +---+---------------------------+
   | Value String (Length octets)  |
   +-------------------------------+

从下图中能看到，占用了25个Byte来传递:path=/post/20180811-http2_in_go_1.html的信息，这个数值比传输明文字符串要节省空间；当然是由于这些字符串普遍在 Huffman 编码 的压缩比较高的字典里，经过编码后会占用较小的空间，如果要传输的都是一个比较奇怪的字符，那么也有可能出现编码后占用的空间比之前还要高。

640?wx_fmt=png

那如果我们应用要传输的就是一些奇怪的字符串，难道我们要每次传输比直接更大的值么，其实不然。除了静态表，HPACK 算法还提供了一个 动态表，双方针对每个connection共同维护这个表，这样对于之前未出现过的Header信息，只要传输一次，那么下次大家就都了解了。

比如下边这个user-agent，第一次传输时，Index是从本地静态表获取，传输给服务端后，会把Header Name+Header Value同时更新到本地的动态表里；这样本地和服务端都同时存在一个相同id的动态表了，这里大家都追加到了Index=76的动态表，再次传递时，只要跟静态表的结构一样即可。占用1Byte就ok。

第一次传输：

640?wx_fmt=png

第二次传输：

640?wx_fmt=png

最后总结下，用Roberto Peon（HPACK的设计者之一）的话说： 
“HPACK旨在提供一个一致性的实现使信息量的损失尽可能少，使编解码快速而方便，使接收方能控制压缩文本的大小，允许代理重新建立索引（如，通过代理在前后端共享状态），以及对哈夫曼编码串的更快速比较”

2

服务端推送(Server Push)

Server Push指的是服务端主动向客户端推送数据，相当于对客户端的一次请求，服务端可以主动返回多次结果。这个功能打破了严格的请求---响应的语义，对客户端和服务端双方通信的互动上，开启了一个崭新的可能性。但是这个推送跟websocket中的推送功能不是一回事，Server Push的存在不是为了解决websocket推送的这种需求。

对我们的web应用来说，举个最简单的例子，有一个index.html页面：

<!DOCTYPE html>
<html>
<head>
  <link rel="stylesheet" href="push-style.css">
</head>
<body>
  <h1>hello, server push</h1>
  <img src="push-image.png">
</body>
</html>

  • 在HTTP/1.x里，为了展示这个页面，客户端会先发起一次 GET /index.html 的请求，拿到返回结果进行分析后，再发起两个资源的请求，一共是三次请求, 并且有串行的请求存在。

  • 在HTTP/2里，当客户端发起 GET /index.html的请求后，如果服务端进行了Server Push的支持，那么会直接把客户端需要的/index.html和另外两份文件资源一起返回，避免了串行和多次请求的发送。

大家可以看看Go官方给的这个Server Push的例子：

640?wx_fmt=jpeg

 

这个功能的实现，主要就依赖于上一篇文章提到的PUSH_PROMISE Frame，所有的推送请求，都是有 PUSH_PROMISE 来发起，服务端通过向客户端在返回正常的Response前，优先发送 PUSH_PROMISE，来表达自己即将为客户端推送的资源，当客户端收到请求后，针对这些资源，就不会再向服务端发起请求。

+---------------+
 |Pad Length? (8)|
 +-+-------------+-----------------------------------------------+
 |R|                  Promised Stream ID (31)                    |
 +-+-----------------------------+-------------------------------+
 |                   Header Block Fragment (*)                 ...
 +---------------------------------------------------------------+
 |                           Padding (*)                       ...
 +---------------------------------------------------------------+

PUSH_PROMISE中，包含了一个Promised Stream ID，这个是服务端承诺向客户端推送相关数据时使用的Stream ID，Header Block中包含资源链接等相关内容。 
客户端收到PUSH_PROMISE后，可以选择接受服务器推送的资源，如果客户端发现本地缓存已经存在，不需要服务端再推送，也可以向对应的Stream ID发送RST_STREAM帧，来阻止服务端发送Push.

下边看几张用h2c(不是ClearText的h2c,是一个HTTP/2 Command-Line Client)模拟http2请求的图来看效果，还是访问的上边Go官方给的Server Push的网页：

在发起 GET /serverpush的请求后，收到了服务端发送的PUSH_PROMISE，承诺在2、4、6、8等stream ID的流中给发送相应的资源信息:

640?wx_fmt=jpeg

 

然后可以看到，在Stream Id为2、4、6、8的流上开始给客户端发送Header帧和Data帧的数据，顺序不定，同时也在向Get /serverpush这个stream ID=1的流上返回相关的页面信息。

640?wx_fmt=jpeg

 

最后，就是各个Stream传输自己的Data数据，直到数据传输完毕，打上END_STREAM的Flag表明流传输结束。

640?wx_fmt=jpeg

 

Stream 状态机

 

说完这两个HTTP/2的特性，对整体概念应该有所了解了，最后说下Stream 状态机，就容易理解了。 

这个状态图从客户端和服务端两方面分别来展示的，大家可以先自己看下，图下方有发送标记的解释：

                             +--------+
                     send PP |        | recv PP
                    ,--------|  idle  |--------.
                   /         |        |         \
                  v          +--------+          v
           +----------+          |           +----------+
           |          |          | send H /  |          |
    ,------| reserved |          | recv H    | reserved |------.
    |      | (local)  |          |           | (remote) |      |
    |      +----------+          v           +----------+      |
    |          |             +--------+             |          |
    |          |     recv ES |        | send ES     |          |
    |   send H |     ,-------|  open  |-------.     | recv H   |
    |          |    /        |        |        \    |          |
    |          v   v         +--------+         v   v          |
    |      +----------+          |           +----------+      |
    |      |   half   |          |           |   half   |      |
    |      |  closed  |          | send R /  |  closed  |      |
    |      | (remote) |          | recv R    | (local)  |      |
    |      +----------+          |           +----------+      |
    |           |                |                 |           |
    |           | send ES /      |       recv ES / |           |
    |           | send R /       v        send R / |           |
    |           | recv R     +--------+   recv R   |           |
    | send R /  `----------->|        |<-----------'  send R / |
    | recv R                 | closed |               recv R   |
    `----------------------->|        |<----------------------'
                             +--------+

       send:   endpoint sends this frame
       recv:   endpoint receives this frame

       H:  HEADERS frame (with implied CONTINUATIONs)
       PP: PUSH_PROMISE frame (with implied CONTINUATIONs)
       ES: END_STREAM flag
       R:  RST_STREAM frame

其中,half closed状态，就是进入Server Push后的状态，有一方，其实就是客户端，进入了半开闭状态，这时候它不能通过这个Stream再发送请求的相关数据，只能接受数据，或者选择结束链接。half closed状态可以由idle状态经过两条路径到达:

  • 服务端发送PUSH_PROMISE后发送Header帧信息，使客户端进入半开闭；

  • 客户端通过Header帧向服务端发送数据，并在Header标记END_STREAM的Flag,表明自己期望结束Stream，不再向服务端发送Header或Data的数据，这个时候服务端还没同意关闭Stream，所以服务端是可以向客户端发送数据的。

这里边比较奇怪的就是reserved和half closed两个状态，看起来没有什么区别，通过一个无关紧要的Header帧来触发状态转换。 
其实，在Go语言里，对HTTP/2的Stream State的实现，就是把reserved和half closed当做一个状态给合并了。

640?wx_fmt=png

那么为什么会有这两个状态呢，其实是出于Stream Concurrency并发的限制，在并发限制里，reserved状态不计入活跃状态，不进行限制。这样能达到的一个效果就是，即使Stream并发数达到限制以后，服务端仍然是能向客户端发送PUSH_PROMISE的，能够一定程度的防止PUSH_PROMISE不能发送而导致的客户端竞争请求。

这块我也是简单介绍下，想了解更仔细的话，可以参考这篇文章RFC7540 笔记（四）——More on Stream States。

好了，本次就说这些。下次开始介绍HTTP/2在Go语言中的一些实现和用法。

最后再提供一个HTTP/2开发相关的工具介绍，方便调试和开发：

  • HTTP/2相关tools

页面内对一些技术点都有标记链接，如果希望可以深入了解，可以点查看原文进行查看。

互联网协议 — 使用 Wireshark 调试 HTTPS 及 HTTP/2 流量
烟云的计算
03-22 1728
目录 文章目录目录使用 Wireshark 调试 HTTP/2 流量通过浏览器的 SSL 日志功能 使用 Wireshark 调试 HTTP/2 流量 HTTP/2 引入了二进制分帧层（Binary Framing），将每个请求和响应分割成为更小的帧，并对它们进行了二进制编码。那么要如何调试 HTTP/2 流量呢？HTTP/2 中的 Server Push、Prioritization 等功能，要如何才能看到并分析呢？ 所幸，新版本的 Wireshark 是支持解析 HTTP/2 数据报文的，可以自动解压头
Go语言HTTP/2探险之旅
HULK一线技术杂谈
09-05 1584
女主宣言大家都知道，Go的标准库HTTP服务器默认支持HTTP/2。那么，在这篇文章中，我们将首先展示Go的http/2服务器功能，并解释如何将它们作为客户端使用。PS：...
Go HTTP 文件服务器教程
最新发布
gitblog_00672的博客
08-26 334
Go HTTP 文件服务器教程 项目地址:https://gitcode.com/gh_mirrors/go/go-http-file-server 项目介绍 Go HTTP 文件服务器是一个用 Go 语言编写的轻量级静态文件服务器。它支持文件上传、下载、目录浏览等功能，非常适合用于快速搭建文件共享服务。该项目托管在 GitHub 上，地址为：https://github.com/mjpclab/...
HTTP/2 in GO(三)
arjick的专栏
05-17 885
HTTP/2 in GO(一) HTTP/2 in GO(二) HTTP/2 in GO(三) HTTP/2 in GO(四) HTTP/2 in GO(五) Start 前边两章讲了很多HTTP/2概念性的东西，看起来比较无趣，从这次开始，我们从一些实际用途开始讲起。 本次讲一个非常简单的功能，然后把其内部实现串一下。 这次要实现的功能非常简单，就是一个http2的server...
【go语言http2.0代码实现】
qq_37674060的博客
01-17 1362
【go语言http2.0代码实现】
HTTP/2 in GO(一)
HULK一线技术杂谈
03-21 1240
女主宣言大家在平时的项目开发中，应用越来越多的使用到了GO语言。今天女主就给大家带来了一份关于GO结合HTTP/2的开发示例分享给大家。本文来自公众号“360搜索技术团队...
Web技术（五）：HTTP/2 是如何解决HTTP/1.1 性能瓶颈的？
流云
06-03 3815
一、HTTP/2 概览 1. HTTP/1.1 存在的队头阻塞问题，降低了TCP连接利用率；HTTP/2 通过多数据流并发复用TCP连接部分解决了该问题； 2. HTTP/1.1 重复传输臃肿的首部字段，降低了网络资源利用率；HTTP/2 通过首部压缩HPACK，大幅减少了传输开销； 3. HTTP/1.1 报文各字段长度不固定，只能串行解析；HTTP/2 整个报文都采用二进制编码，且每个字段长度固定，可以并行处理； 4. HTTP/1.1 客户端不能接收除响应之外的报文；HTTP/2 支持服务端主动推送。
Go in Action.pdf_Go_golang_
09-29
Go语言，又称Golang，是由Google开发的一种静态类型、编译型、并发型且具有垃圾回收功能的编程语言。这本书以深入浅出的方式介绍了Go语言的基础概念、语法特性以及高级应用，是学习Go语言的宝贵资料。 在本书中，你...
c++代码转为go_C/C++调用Golang 二
weixin_39669202的博客
12-21 751
C/C++调用Golang二《C/C++调用Golang一》简单介绍了C/C++调用Golang的方法步骤，只涉及一个简单的函数调用。本文总结具体项目中的使用场景，将介绍三种较复杂的调用方式：一，C++向golang传入复杂结构体；二，C++向golang传入回调函数，在golang中调用C++函数；三，C++调用golang函数，返回复杂的结构体。(本文后面涉及三个例子，省略了编译步骤，仅展示关...
Tomcat9配置HTTP/2访问
氷泠
06-08 2126
文章目录1 概述2 HTTP/2特性2.1 二进制分帧2.2 压缩头部2.3 多路复用2.4 流优先及流控制2.5 服务器推送2.6 应用层协商协议3 使用mkcert生成证书3.1 安装mkcert3.1.1 MacOS3.1.2 Linux3.1.3 Windows3.2 生成证书3.2.1 安装本地CA证书3.2.2 利用CA证书签发本地证书4 配置Tomcat4.1 使用Nio4.2 使用APR 1 概述 Tomcat从Tomcat8的一些较新版本就支持HTTP/2了，Tomcat9直接支持，本文首
Go语言的http/2服务器功能及客户端使用
09-20
Golang 有一个很棒的自带 http 服务器软件包，不用说就是： net/http， 它非常简单，但是功能非常强大。下面这篇文章主要给大家介绍了关于Go语言的http/2服务器功能及客户端使用的相关资料，需要的朋友可以参考下
h2c:Golang HTTP2明文（h2c）处理程序路由器多路复用器
04-30
h2c Golang HTTP / 2明文（h2c）处理程序/路由器/多路复用器 h2c协议是HTTP / 2的非TLS安全版本，无法从net / http获得。 代码是Traefik的h2c服务器的副本，但适用于作为http.Handler的独立使用。 特拉菲克可以在这里找到： : 除非您知道自己在做什么，否则请不要使用此库，并且有适当的用例，例如安全负载均衡器，该负载均衡器会在将h2c流量发送到专用子网内的服务器之前终止SSL。 用法示例： package main import ( "fmt" "net/http" "github.com/veqryn/h2c" "golang.org/x/net/http2" ) func main () { // Router/Mux (can use any http.Handler) router := http .
Go-go语言实现的http2客户端拨测工具
08-13
go语言实现的http2客户端拨测工具
h2c：由golang编写的简单h2c服务器
02-17
本文档介绍了如何使用Knative设置HTTP2服务。 此存储库中的HTTP2服务仅接受HTTP2请求并显示 "Hello word: path {Your-request-path} 前提条件 该文档要求安装有Knative的k8s集群。 配置环境变量 运行以下命令以配置所需的环境变量。 # set REPO to the URL of your container repository # e.g. export REPO="gcr.io/h2c-test" export REPO={Your-container-repository} 建立容器图片 运行以下命令以构建HTTP2服务的容器 docker build --tag " ${REPO} /h2c " --file=Dockerfile . 将容器映像推送到容器存储库 运行以下命令将容器映像推送到您的容器存储库 d
go语言web开发入门之使用http2
蛐蛐的博客
08-09 1458
1.简介 在1.6或以上版本的Go语言中，如果使用HTTPS模式启动服务器，那么将默认使用HTTP2。 在默认情况下，版本低于1.6的Go语言将不会安装http2包，则需要安装： go get golang.org/x/net/http2 2.实现 package main import ( "fmt" "net/http" "golang.org/x/net/http2" ) func hello(w http.ResponseWriter, r *http.Re..
go : gin http2 push资源
feiger的专栏
12-06 1542
背景： 使用gin 框架，http2 push资源到server 知识点： http2 server push HTTP/2旨在解决HTTP/1.x的许多缺陷。现代web页面使用许多资源：HTML、样式表、脚本、图像等等。在HTTP/1.x中，必须显式地请求这些资源中的每一个。这可能是一个缓慢的过程。浏览器从获取HTML开始，然后在解析和计算页面时逐步了解更多资源。由于服务器必须等待浏览器发出每个...
GOLang（第二篇 发起一个Http请求）
amku822202的博客
01-09 412
import ( "net/http" "net/url" ) //发送一个简单的get请求 func GetRequest { //联系使用 make(map[string]string) queryData := make(map[string]string) //创建空间， queryData["params"]...
go http请求
令狐姑娘
08-17 632
效果：通过命令行输入信息，进行http请求，获取响应内容 1.设置命令行输入变量 //命令行解析 var name string flag.StringVar(&amp;amp;name, &quot;name&quot;, &quot;&quot;, &quot;project name&quot;) var description string flag.StringVar(&amp;amp;description, &qu
Go语言实现slice的'In'功能探析
在 Go 语言中，`in` 操作符并不直接存在，与 Python 等其他语言不同，Go 选择保持其语法简洁，因此没有内置的方式来判断一个元素是否存在于切片（slice）中。然而，开发者可以通过自定义函数来实现类似的功能。本篇...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值