grpc-go源码剖析十六之grpc+NGINX实现负载均衡方案介绍

已发表的技术专栏
0  grpc-go、protobuf、multus-cni 技术专栏 总入口

1  grpc-go 源码剖析与实战  文章目录

2  Protobuf介绍与实战 图文专栏  文章目录

3  multus-cni   文章目录(k8s多网络实现方案)

4  grpc、oauth2、openssl、双向认证、单向认证等专栏文章目录)

本篇文章将介绍如何使得NGINX作为负载均衡器，代理grpc客户端的请求；

本小节所需的资料，已经上传到百度网盘
(链接: https://pan.baidu.com/s/1za02qnUII78n-XhlrLf7RA 密码: 3tok)

1、整体流程介绍

整体流程图，如下所示：

红色线，表示grpc客户端最终从三个tcp链接中选择的链接作为帧的传输链路。
环境说明：
在Mac上：

• 3个grpc服务器端
• 1个grpc客户端
• 在虚拟机里启动1个docker方式运行的NGINX服务

主要流程说明：

• 启动3个grpc服务器端
• 配置NGINX的配置文件，将3个grpc服务器的地址添加NGINX里，并启动容器
• 启动grpc客户端；

在grpc客户端里采用默认的解析器passthrough，默认pickfirst平衡器；

当grpc客户端向NGINX发起请求，NGINX收到请求后，会从3个地址里根据负载均衡策略选择一个地址(如上图中红色实线)，进行rpc通信。

也就是说，grpc客户端并没有跟grpc服务器端进行直连，而是通过NGINX进行里代理转发。

接下来，直接看测试用例

2、参考实例：

2.1、grpc服务器端代码

grpc服务器代码，跟以前的测试用例，区别不大:

1．package main

2．import (
	     //---省略导入代码
3．)

4．const (
5．	port = ":50051"
6．)

7．const (
8．	timestampFormat = time.StampNano
9．	streamingCount  = 10
10．)

11．var DataFrameNum int8

12．var PingNum int8

13．// server1 is used to implement helloworld.GreeterServer.
14．// 实现了所有接口sayhello1,sayHello2,sayHello3,sayHello4
15．// server1 包含pb.UnimplementedGreeterServer， 相当于继承，
16．// 覆写了 sayhello1,sayHello2,sayHello3,sayHello4
17．type server struct {
18．	pb.UnimplementedGreeterServer
19．}

20．// SayHello implements helloworld.GreeterServer
21．func (s *server) SayHello1(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) {
22．	return &pb.HelloReply{Message: "---From Server---gprc--nginx---50051---" + in.GetName()}, nil
23．}

24．func main() {
25．	lis, err := net.Listen("tcp", port)
26．	if err != nil {
27．		log.Errorf("failed to listen: %v", err)
28．	}

29．	s := grpc.NewServer()

30．	// 将helloworld_grpc.pb.go文件里_Greeter_serviceDesc声明的服务，注册到grpc服务里
31．	pb.RegisterGreeterServer(s, &server{})
32．	if err := s.Serve(lis); err != nil {
33．		log.Errorf("failed to serve: %v", err)
34．	}
35．}

2.2、grpc客户端测试用例

1．package main

2．import (
   //---省略导入代码
3．)

4．const (
5．	// address, 是nginx的地址
6．	address     = "10.211.55.10:8081"
7．	defaultName = "----h2c-------"
8．)
9．const (
10．	timestampFormat = time.StampNano // "Jan _2 15:04:05.000"
11．	streamingCount  = 10
12．)

13．func main() {
14．	reWG := &sync.WaitGroup{}
15．	for i:=0; i < 2;  i++ {
16．		reWG.Add(1)
17．		go request(reWG, int8(i))
18．	}

19．	reWG.Wait()
20．}

21．func request(wg *sync.WaitGroup, index int8)  {
22．	// Set up a connection to the server.
23．	conn, err := grpc.Dial(address, grpc.WithInsecure(), grpc.WithBlock())
24．	if err != nil {
25．		log.Errorf("did not connect: %v", err)
26．	}

27．	defer conn.Close()

28．	// 根据ClientConn, 创建GreeterClient
29．	c := pb.NewGreeterClient(conn)

30．	// Contact the server and print out its response.
31．	name := defaultName
32．	if len(os.Args) > 1 {
33．		name = os.Args[1]
34．	}
35．	ctx, cancel := context.WithTimeout(context.Background(), time.Second * 10 )
36．	defer cancel()

37．	for i :=0; i<1;i++{
38．		msg, err := c.SayHello1(ctx, &pb.HelloRequest{Name: name})

39．		if err != nil {
40．			panic(fmt.Sprintf("----------==============>could not greet: %v", err))
41．		}

42．		log.Infof("------------------>------------->Greeting: %s", msg.GetMessage())
43．	}

44．	wg.Done()
45．}

2.3、NGINX启动说明

NGINX是从1.13.10开始支持gRPC 协议的；(https://www.nginx.com/blog/nginx-1-13-10-grpc/)

2.3.1、NGINX镜像构建

虽然NGINX支持grpc协议了，但是，需要重新编译，添加相应的模块才行；

下面了提供了Dockerfile:

FROM gcc:latest

ADD nginx-1.16.0.tar.gz /usr/local

RUN mkdir -p /usr/local/nginx

RUN cd /usr/local/nginx-1.16.0 \
    &&  ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_gzip_static_module --with-http_v2_module \
    && make  \
    && make install

ENV PATH $PATH:/usr/local/nginx/sbin

WORKDIR /usr/local/nginx

EXPOSE 80

CMD ["nginx", "-g", "daemon off;"]

• 第4-7行，重新编译NGINX，添加支持grpc需要的模块

通过下面的命令，构建镜像：

docker build -t nginx-gcc:1.16.0 .

2.3.2、NGINX配置文件

nginx.conf全部内容如下:

http {

  upstream lb {
     server 192.168.43.214:50051;
     server 192.168.43.214:50052;
     server 192.168.43.214:50053;
  }

 server {
  listen       80   http2;

  location / {
    grpc_pass grpc://lb;
    autoindex on;
    index  index.html index.htm;
  }
 }
}

events {
  worker_connections  1024;
}

2.3.3、容器运行NGINX启动脚本

为了测试方便，提供了一个启动脚本：

#!/bin/bash
docker stop nginx-grpc
docker rm nginx-grpc

docker run -it -d  --name nginx-grpc -p 8081:80 -v /root/grpc/nginx.conf:/usr/local/nginx/conf/nginx.conf nginx-gcc:1.16.0

注意:

如果使用此脚本，需要修改/root/grpc/nginx.conf的位置，改成实际路径

到目前为止，grpc+nginx方案，介绍完成；

3、总结

本文使用NGINX作为独立进程式负载均衡器，来负责grpc客户端的请求转发；

也就是说，grpc客户端跟grpc服务器端并不是直连式通信。

NGINX提供了负载均衡的能力，从众多的grpc服务器地址中根据设置的策略(如轮询策略)，进行流量的转发。

下一篇文章
  grpc+consul+自定义平衡器weight-balancer方案介绍