云原生 envoy xDS 动态配置 java控制平面开发 支持restful grpc实现 EDS 动态endpoint配置

envoy xDS 动态配置 java控制平面开发 支持restful grpc 动态endpoint配置

大纲

  • 基础概念
  • Envoy 动态配置API
  • 配置方式
  • 动静结合的配置方式
  • 纯动态配置方式
  • 实战

基础概念

Envoy 的强大功能之一是支持动态配置,当使用动态配置时,我们不需要重新启动 Envoy 进程就可以生效。Envoy 通过从磁盘文件或网络接口读取配置,动态地重新加载配置。动态配置使用所谓的发现服务 API,指向配置的特定部分。这些 API 也被统称为xDS 即 (xxx discovery service)

注意:
Envoy的发现API开发模式是,按照Envoy指定的接口名称,请求参数,响应值,自己开发,即需要满足Envoy的规范

Envoy动态配置支持文件方式,grpc接口和, restful接口,其中 grpc接口/REST接口 的配置提供者(自己开发的项目)也被称为控制平面

实现方式:

  • 文件方式: 监听文件的变化动态修改
  • grpc接口: 使用的tcp长连接
  • REST接口: 使用的http轮询的方式实现

Envoy 动态配置API

API类型

Envoy 内部有多个发现服务 API (xDS):

  • 监听器发现服务(LDS listener discovery service) 使用 LDS,Envoy 可以在运行时发现监听器,包括所有的过滤器栈、HTTP 过滤器和对 RDS 的引用。(即动态配置 listener 类似nginx配置虚拟主机)
  • 扩展配置发现服务(ECDS) 使用 ECDS,Envoy 可以独立于监听器获取扩展配置(例如,HTTP 过滤器配置)。
  • 路由发现服务(RDS route discovery service) 使用 RDS,Envoy 可以在运行时发现 HTTP 连接管理器过滤器的整个路由配置。与 EDS 和 CDS 相结合,我们可以实现复杂的路由拓扑结构。(即动态配置路由)
  • 虚拟主机发现服务(VHDS) 使用 VHDS 允许 Envoy 从路由配置中单独请求虚拟主机。当路由配置中有大量的虚拟主机时,就可以使用这个功能。
  • 宽泛路由发现服务(SRDS) 使用 SRDS,可以把路由表分解成多个部分。当有大的路由表时,就可以使用这个 API。
  • 集群发现服务(CDS cluster discovery service ) 使用 CDS,Envoy 可以发现上游集群。Envoy 将通过排空和重新连接所有现有的连接池来优雅地添加、更新或删除集群。Envoy 在初始化时不必知道所有的集群,因为我们可以在以后使用 CDS 配置它们。(即动态配置集群)
  • 端点发现服务(EDS endpoint discovery service) 使用 EDS,Envoy 可以发现上游集群的成员。 (即动态配置后端服务类似nginx upstream)
  • 秘密发现服务(SDS) 使用 SDS,Envoy 可以为其监听器发现秘密(证书和私钥,TLS 会话密钥),并为对等的证书验证逻辑进行配置。
  • 运行时发现服务(RTDS) 使用 RTDS,Envoy 可以动态地发现运行时层。

API 版本

Envoy 的 API 有 v2 v3 目前主流版本是 v3

官方文档 https://www.envoyproxy.io/docs/envoy/latest/configuration/overview/xds_api

xDS API 可以使用restful接口和grpc接口开发,只要满足指定的接口名称和DiscoveryRequest,DiscoveryResponse参数和响应对象即可

例如以下就是一个EDS的接口
/v3/discovery:endpoints (即自己写的controller的mapping是/v3/discovery:endpoints)
@RequestMapping("/v3/discovery:endpoints")

配置方式

动静结合的配置方式

静态配置与动态配置结合

例如

static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
                - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]
              routes:
              - match:  
                  prefix: "/" 
                route:  
                  cluster: user-service 
  clusters:
    - name: user-service
      type: EDS #这里就是使用动态配置的方式实现endpoint的动态发现
      connect_timeout: 0.5s
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3
          api_config_source:
            api_type: REST
            transport_api_version: V3
            cluster_names: [edscluster]
            refresh_delay: 10s 
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7590 

纯动态配置方式

使用dynamic_resources 配置动态内容

例如

dynamic_resources:
  ads_config:
    api_type: GRPC
    transport_api_version: V3
    grpc_services:
    - envoy_grpc:
        cluster_name: xds_cluster
  cds_config:
    resource_api_version: V3
    api_config_source:
      api_type: GRPC
      transport_api_version: V3
      grpc_services:
      - envoy_grpc:
          cluster_name: xds_cluster
  lds_config:
    resource_api_version: V3
    api_config_source:
      api_type: GRPC
      transport_api_version: V3
      grpc_services:
      - envoy_grpc:
          cluster_name: xds_cluster

当envoy没有读取到配置时会一直使用默认的配置,所以如果控制平面宕机后还是会保持配置

每个 xDS API 都有给定的资源类型:

v2版本

LDS :  envoy.api.v2.Listener
RDS : envoy.api.v2.RouteConfiguration
CDS : envoy.api.v2.Cluster
EDS :envoy.api.v2.ClusterLoadAssignment (EDS就是配置 endpoint)

v3版本

envoy.config.listener.v3.Listener
envoy.config.route.v3.RouteConfiguration,
envoy.config.route.v3.ScopedRouteConfiguration,
envoy.config.route.v3.VirtualHost
envoy.config.cluster.v3.Cluster
envoy.config.endpoint.v3.ClusterLoadAssignment  (EDS endpoint 返回的resources 对象类型)
envoy.extensions.transport_sockets.tls.v3.Secret
envoy.service.runtime.v3.Runtime

即接口返回DiscoveryResponse 内部的resources 是以上类型

实战

本次测试 envoy的版本为v1.16.0 使用docker镜像部署

在这里插入图片描述

基于envoy xDS api v3版本 java restful实现

step1 配置 envoy.yaml

配置文件如下

node:
  cluster: mycluster
  id: test-id


# 这是一段静态配置
static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200 #配置一个静态的listener 监听来自任意IP的请求15200端口的http请求
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager #注意指定filters
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
                - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]  #任意域名的请求
              routes:
              - match:  
                  prefix: "/"   # 任意url的请求
                route:  
                  cluster: user-service  # 路由到user-service 集群
  
  # 配置集群    
  clusters:
    - name: user-service
      type: EDS  #模式指定为EDS  
      connect_timeout: 0.5s # 配置连接超时时间
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3 #指定使用V3版本接口
          api_config_source:
            api_type: REST  #使用restful的方式
            transport_api_version: V3   #指定使用V3版本接口
            cluster_names: [edscluster]
            refresh_delay: 10s  # 配置刷新频率
      # 这里配置的是envoy EDS接口的提供服务即控制平面       
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s # 配置连接超时时间
      # envoy会去请求 192.168.0.218:7590/v3/discovery:endpoints 这个接口 获取endpoint配置信息
      # 代码见 my-docker-demo-envoy-plane/DataPlaneEndpointControllerV3.java
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7590  

启动 envoy 镜像

docker run  -p 5201:5201 -p 15200:15200  -v /ops/envoy:/etc/envoy  envoyproxy/envoy:v1.16.0 

envoy 启动后可以看到开始调用 EDS接口,由于还没启动服务此时会报错

在这里插入图片描述

step2 java 程序开发

EDS接口使用java springboot 开发

注意点如下:

  • 1 接口必须是 /v3/discovery:endpoints
  • 2 动态配置需要是一个json 字符串 并且满足endpoint需要的格式
  • 3 返回值必须是一个DiscoveryResponse service.discovery.v3.DiscoveryResponse

DiscoveryResponse 格式如下

{
  "version_info": ...,
  "resources": [],
  "type_url": ...,
  "nonce": ...,
  "control_plane": {...}
}

整体的返回值json字符串如下

{
  "versionInfo": "1.0.0",
  "resources": [{
    "@type": "type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment",
    "clusterName": "user-service",
    "endpoints": [{
      "lbEndpoints": [ {
        "endpoint": {
          "address": {
            "socketAddress": {
              "address": "10.244.1.203",
              "portValue": 5588
            }
          }
        }
      }]
    }]
  }]
}

如果自己拼接json字符串感觉比较麻烦,可以使用envoy-api包

<dependency>
		    <groupId>io.envoyproxy.controlplane</groupId>
		    <artifactId>api</artifactId>
		    <version>1.0.39</version>
		</dependency>

这个包,里面有xDS中的各种资源对象 以及grpc接口

也可以使用官方提供的 java控制面板项目 打包编译后得到api包,里面也有xDS中的各种资源对象

在这里插入图片描述

java 代码如下

  @RequestMapping(value="/v3/discovery:endpoints" , produces = {"application/json;charset=UTF-8"})
	public String discovery(HttpServletRequest req) throws Exception {			
		//json 字符串拼接
		//String json = staticJson();
		/**
		 * 构建返回EDS 配置json 字符串
		 */
		String json = useBean();
		
		return json;
	}
	
	/**
	 * @return
	 */
	private String useBean() throws Exception {
		/**
		 * 以下资源类出自
		 * 
		 * <dependency>
		    <groupId>io.envoyproxy.controlplane</groupId>
		    <artifactId>api</artifactId>
		    <version>1.0.39</version>
		</dependency>
		 * 
		 */
		//配置上游服务(类似nginx upstream)
		SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.190").setPortValue(5588).build();
		SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.1.203").setPortValue(5588).build();
		Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
		Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
		Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
		Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
	    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
	    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
		LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
		ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
				.setClusterName("user-service")
				.addEndpoints(llb).build();
		DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")
				.addResources(Any.pack(cla))
				.build();
		
		JsonFormat.TypeRegistry typeRegistry = JsonFormat.TypeRegistry.newBuilder()
		        .add(ClusterLoadAssignment.getDescriptor())
		        .build();
		
		JsonFormat.Printer printer = JsonFormat.printer()
		        .usingTypeRegistry(typeRegistry);
		
		return printer.print(dr);
}

基于 envoy xDS api v3版本 java grpc实现

grpc的关键

  • 1 使用envoy api包 实现对应的grpc 服务
  • 2 返回值需要指定typeUrl
  • 3 配置文件需要加入 http2_protocol_options 指定使用http2

没使用http2_protocol_options 配置会出现如下异常

io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2Exception: Unexpected HTTP/1.x request: POST /envoy.service.endpoint.v3.EndpointDiscoveryService/StreamEndpoints 
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2Exception.connectionError(Http2Exception.java:109) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler$PrefaceDecoder.readClientPrefaceString(Http2ConnectionHandler.java:302) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler$PrefaceDecoder.decode(Http2ConnectionHandler.java:239) ~[grpc-netty-shaded-1.48.1.jar:1.48.1]
	at io.grpc.netty.shaded.io.netty.handler.codec.http2.Http2ConnectionHandler.decode(Http2ConnectionHandler.java:438) [grpc-netty-shaded-1.48.1.jar:1.48.1]

在这里插入图片描述

返回值未指定typeUrl

023-08-16 06:14:49.608][8][warning][config] [source/common/config/grpc_mux_impl.cc:155] Ignoring the message for type URL  as it has no current subscribers.

在这里插入图片描述

关键配置 envoy.yaml 如下

# 指定集群名称
# 动态配置需要指定节点集群名称        
node:
  cluster: mycluster
  id: test-id


# 这是一段静态配置
static_resources:
  listeners:
  - name: my_listener
    address:
      socket_address: 
        protocol: TCP
        address: 0.0.0.0
        port_value: 15200 #配置一个静态的listener 监听来自任意IP的请求15200端口的http请求
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager #注意指定filters
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: my-http-filter
          http_filters:
            - name: envoy.filters.http.router
          stat_prefix: my_listener_http
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]  #任意域名的请求
              routes:
              - match:  
                  prefix: "/"   # 任意url的请求
                route:  
                  cluster: user-service  # 路由到user-service 集群
  
  # 配置集群    
  clusters:
    - name: user-service
      type: EDS  #模式指定为EDS  
      connect_timeout: 0.5s # 配置连接超时时间
      eds_cluster_config: 
        eds_config:
          resource_api_version: V3 #指定使用V3版本接口
          api_config_source:
            api_type: GRPC  #使用grpc的方式
            transport_api_version: V3   #指定使用V3版本接口
            # 指定grpc_services 对应的集群
            # 这里将使用下面定义的集群
            grpc_services: 
              - envoy_grpc: 
                  cluster_name: edscluster
           
    # 这里配置的是envoy EDS接口的提供服务即控制平面       
    - name: edscluster
      type: STATIC
      connect_timeout: 0.5s # 配置连接超时时间
      # 这里是一个关键,必须指定http2_protocol_options 即使用http2
      http2_protocol_options: {}
      hosts:  
        - socket_address: 
             address: 192.168.0.218
             port_value: 7899  

关键java代码

public class EndpointDiscoveryServiceGrpcImpl extends EndpointDiscoveryServiceGrpc.EndpointDiscoveryServiceImplBase {

	
	/**
	 * 这个接口是客户端模式
	 * 
	 */
	@Override
	public io.grpc.stub.StreamObserver<io.envoyproxy.envoy.service.discovery.v3.DiscoveryRequest> streamEndpoints(
	        io.grpc.stub.StreamObserver<io.envoyproxy.envoy.service.discovery.v3.DiscoveryResponse> responseObserver) {
	     System.out.println("run grpc ...");
	     /**
	      * 创建StreamObserver<DiscoveryRequest>对象
	      */
		StreamObserver<DiscoveryRequest> so = new StreamObserver<DiscoveryRequest>() {

			@Override
			public void onNext(DiscoveryRequest request) {
				 //接收客户端每一次发送的数据,返回给客户端
				//showRequest(request);
				
			    SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.214").setPortValue(5588).build();
				SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.0.201").setPortValue(5588).build();
				Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
				Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
				Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
				Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
			    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
			    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
				LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
				ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
						 /**
				         * 这里配置的ClusterName 应该是路由对应的cluster name 而不是 node中的cluster
				         * route: { cluster: user-service }
				         */
						.setClusterName("user-service") 
						.addEndpoints(llb).build();
				final DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")							
						.setTypeUrl("type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment")
						.addResources(Any.pack(cla))
						.build();
				
				/**
				 * 客户端模式这里不会去关闭StreamObserver
				 * 即不会调用 responseObserver.onCompleted();方法
				 */
				responseObserver.onNext(dr);
				
				System.out.println("send DiscoveryResponse ");
			}

			@Override
			public void onError(Throwable t) {
				System.out.println("onError");
				 t.printStackTrace();
			}

			@Override
			public void onCompleted() {
				 //当客户端数据发送完毕后调用此方法,返回客户端
				
				 SocketAddress sa1 = SocketAddress.newBuilder().setAddress("10.244.0.214").setPortValue(5588).build();
				SocketAddress sa2 = SocketAddress.newBuilder().setAddress("10.244.0.201").setPortValue(5588).build();
				Address address1 = Address.newBuilder().setSocketAddress(sa1).build();
				Address address2 = Address.newBuilder().setSocketAddress(sa2).build();
				Endpoint end1 = Endpoint.newBuilder().setAddress(address1).build();
				Endpoint end2 = Endpoint.newBuilder().setAddress(address2).build();
			    LbEndpoint lb1 = LbEndpoint.newBuilder().setEndpoint(end1).build();
			    LbEndpoint lb2 = LbEndpoint.newBuilder().setEndpoint(end2).build();
				LocalityLbEndpoints llb = LocalityLbEndpoints.newBuilder().addLbEndpoints(lb1).addLbEndpoints(lb2).build();
				ClusterLoadAssignment cla = ClusterLoadAssignment.newBuilder()
						.setClusterName("user-service")
						.addEndpoints(llb).build();
				final DiscoveryResponse dr = DiscoveryResponse.newBuilder().setVersionInfo("1.0.0")
						.addResources(Any.pack(cla))
						.build();
				
				System.out.println("onCompleted");
				responseObserver.onNext(dr);
                responseObserver.onCompleted();
			}
		
	};
    return so;
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寂寞的4角钱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值