如何将第三方服务注册集成到 Istio ？

最新推荐文章于 2023-07-04 14:50:51 发布
最新推荐文章于 2023-07-04 14:50:51 发布
阅读量2k 收藏 6
点赞数
原文链接：https://zhaohuabing.com/post/2020-06-02-third-party-registry/
版权

作为云原生服务网格领域的热门开源项目，Istio 可以为微服务提供无侵入的流量管理、安全通信、服务可见性等服务治理能力。目前越来越多的微服务项目开始考虑将自己的微服务基础设施向 Istio 进行迁移。

Istio 对 Kubernetes 具有较强的依赖性，其服务发现就是基于 Kubernetes 实现的。大量现存的微服务项目要么还没有迁移到 Kubernetes 上；要么虽然采用了 Kubernetes 来进行部署和管理，但还是使用了 Consul，Eureka 等其他服务注册解决方案或者自建的服务注册中心。

在这种情况下，我们如何能够以最小的代价快速地将现有微服务项目和 Istio 进行集成，以享受 Istio 提供的各种服务治理能力呢？本文将分析 Istio 服务注册机制的原理，并提出几种 Istio 与第三方服务注册中心集成的可行方案，以供读者参考。

Istio 服务模型

我们先来看一下 Istio 内部的服务模型。在 Istio 控制面中，Pilot 组件负责管理服务网格内部的服务和流量策略。Pilot 将服务信息和路由策略转换为 xDS 接口的标准数据结构，下发到数据面的 Envoy。

Pilot 自身并不负责网格中的服务注册，而是通过集成其他服务注册表来获取网格中管理的服务。除此以外，Istio 还支持通过 API 向网格中添加注册表之外的独立服务。


图1 Istio 服务模型数据来源

从上图中可以得知， Pilot 中管理的服务数据有两处数据来源：

  • Service Registry：来源于各个服务注册表，例如 Kubernetes 中的 Service 和 Consul Catalog 中注册的服务。Istio 通过特定的适配器连接这些服务注册表，由适配器将服务注册表中的私有服务模型转换为 Istio 内部支持的标准服务模型。

  • Config Storage：来源于各种配置数据源中的独立服务，通过 Istio 定义的 ServiceEntry 和 WorkloadEntry 资源类型加入到 Pilot 的内部服务模型中。

Pilot 服务模型源码分析

Pilot 中涉及到服务模型的代码模块如下图所示：

图2 Pilot 服务模型相关的代码结构

Pilot 的入口函数是 pilot/cmd/pilot-discovery/main.go 中的 main 方法。main方法中创建了 Discovery Server，Discovery Server 中和服务模型相关的主要包含三部分内容：

  • Config Controller：用于管理各种配置数据，包括用户创建的流量管理规则和策略。配置数据中有两个 API 对象和服务模型相关，ServiceEntry 和 WorkloadEntry。Istio 目前支持三种类型的 Config Controller：

    • Kubernetes：使用 Kubernetes 来作为配置数据的存储，该方式的直接依附于 Kubernetes 强大的 CRD 机制来存储配置数据，简单方便，是 Istio 缺省使用的配置存储方案。

    • Memory：一个在内存中的 Config Controller 实现，可以监控一个文件目录，加载该目录中的 yaml 文件中定义的 Istio API 配置对象，该方式主要用于测试。

    • MCP：通过 MCP(Mesh Configuration Protocol) 协议，可以接入一个到多个 MCP Server。Pilot 从 MCP server 中获取网格的配置数据，包括 ServiceEntry 和 WorkloadEntry 定义的服务数据，以及 VirtualService，DestinationRule 等路由规则等其他配置。Istio 中有一个 Galley 组件，该组件实现为一个 MCP Server，从 Kubernetes API Server 中获取配置数据，然后通过 MCP 协议提供给 Pilot。

  • Service Controller：负责接入各种 Service Registry，从 Service Registry 同步需要在网格中进行管理的服务，目前Istio支持的Service Registry包括：

    • Kubernetes：对接 Kubernetes Registry，可以将 Kubernetes 的 Service 和 Endpoint 采集到 Istio 中。

    • Consul：对接Consul Catalog，将注册到 Consul 中的服务数据采集到 Istio 中。

    • External Service Discovery：该 Service Registry 比较特殊，后端并未对接到一个服务注册表，而是会监听 Config Controller 的配置变化消息，从 Config Controller 中获取 ServiceEntry 和 WorkloadEntry 资源，然后以 Service Registry 的形式提供给 Service Controller。

  • Discovery Service：将服务模型和控制面配置转换为数据面标准数据格式，通过 xDS 接口下发给数据面的代理。主要包含下述逻辑：

    • 启动GRPC Server并接收来自Envoy端的连接请求。

    • 接收Envoy端的xDS请求，从Config Controller和Service Controller中获取配置和服务信息，生成响应消息发送给Envoy。

    • 监听来自Config Controller的配置变化消息和来自Service Controller的服务变化消息，并将配置和服务变化内容通过xDS接口推送到Envoy。

第三方服务注册表集成

Consul 集成

鉴于和 Kubernetes 的紧密关系，Istio 在最初只重点关注了 Kubernetes 服务注册的集成。虽然在 Istio 最初的版本中也有 Consul 和 Eureka 的适配代码，但这些代码基本只是处于原型验证的节点，存在较多的故障和性能问题。

由于在项目中采用了 Consul 作为自研服务注册的后端存储，我们在和 Istio 进行集成时对 Consul 的适配进行了大量测试和研究，并解决了一些功能和性能效率方面的问题。这些 Consul 适配的问题解决后已经合入了 Istio 版本中，参见这些 PR：

  • Use watching instead of polling to get update from Consul catalog #17881

  • Fix: Consul high CPU usage (#15509) #15510

  • Avoid unnecessary service change events(#11971) #12148

  • Use ServiceMeta to convey the protocol and other service properties #9713

这些问题处理后，Consul 注册表的集成已经基本可用。要将 Consul 接入到 Pilot 中， 只需要在 pilot-discovery 的启动命令中通过这两个参数指定 registry 类型和 consul 的连接地址即可： --registries Consul --consulserverURL http://$consul-ip:$port。

其他服务注册表的集成

虽然在 1.0 中还有 Eureka 的适配代码框架，但在 Istio 后面的版本完全删除了 Eureka 适配的相关代码。除了 Kubernetes 和 Consul 之外，原生 Istio 代码不支持其他服务注册表。但我们可以采用以下三种方式将其集成到 Istio 的方式。

图3 集成第三方服务注册表的三种方式

上图中分别用红、绿、三种颜色标识了这三种不同的集成方式。

自定义 Service Registry 适配器

如图3中红色箭头所示，我们可以编写一个自定义的适配器来集成第三方服务注册表。该自定义适配器从第三方服务注册表中获取服务和服务实例，转换为 Pilot 内部的标准模型，集成到 Service Controller 中。自定义适配器需要实现 serviceregistry.Instance 接口。该方式的原理和 Consul Service Registry 的适配是类似的，可以参照 Consul Service Registry 的适配代码进行编写。

实施该方案需要熟悉 Pilot 内部服务模型和 Service Registry 适配相关 Istio 源码，并且需要将自定义适配器代码和 Pilot 代码一起编译生成定制的 Pilotd 二进制执行文件。该方案的问题是和 Istio 代码耦合较强，后续 Istio 版本升级时可能需要修改适配器代码并重新编译。

自定义 MCP Server

这种集成方式的业务流程参见图3中的蓝色箭头。该方案需要编写自定义的 MCP Server 从第三方注册表中获取服务和服务实例，然后转换为 ServiceEntry 和 WorkloadEntry 资源，通过 MCP 协议提供给 Pilot 中的 MCP config Controller。

采用这种方式，需要在 Global Mesh Options 中通过 configSources 参数设置自定义 MCP Server 的地址。需要注意的是，目前1.6的 Config Controller 实现不允许同时使用不同类型的Config controller。这意味着如果采用自定义 MCP Server 来获取第三方注册表中的服务数据，也必须同时采用 Galley 来获取其他控制面的配置。

configSources:
  - address:istio-galley.istio-system.svc:9901
  - address:${your-coustom-mcp-server}:9901

而从1.5版本开始，Galley 的功能以及被合并到 Istiod 中，并且缺省被禁用。从 Isito 控制面简化的趋势来看，Galley 后续很可能会被逐渐放弃，其自身功能的稳定性也值得怀疑。因此我不建议在产品中启用 Galley。

除此以外，根据 Istio 社区中的这个 MCP over XDS proposal，社区正在讨论使用 XDSv3/UDPA 代替目前的 MCP 协议来传输配置数据，因此 MCP server 和 Pilot 的通信机制在 1.7 版本中很可能变化。

向 API Server 写入 ServiceEntry 和 WorkloadEntry

该集成方式的业务流程如图3中绿色箭头所示。我们只需要编写一个独立的服务，该服务从第三方法服务注册表中获取服务和服务实例数据，然后转换为 Istio 的 ServiceEntry 和 WorkloadEntry 资源，通过 K8s API Server 的接口写入到 API Server 中。Pilot 中自带的 Kube Config Controller 会监听 K8s API Server 中和 Istio 相关的资源对象的变化，并将 ServiceEntry 和 WorkloadEntry 转换为 Piolt 的内部服务模型。

小结

本文分析了 Istio 和第三方服务注册表集成的几种可能的方式，包括自定义的 Service Registry 适配代码，自定义 MCP Server 和采用一个独立服务向 API Server 写入 ServiceEntry 和 WorkloadEntry 三种方法。有需要的读者可以根据项目的实际情况选择采用哪一种方法。由于第一种和第二种方法目前都存在一些问题，个人建议先采用第三种方式，待 Istio 对 Galley 和 MCP 的改造彻底完成后再考虑向第二种方式迁移。

备注：本文的分析和建议都是基于使用 Istio 1.6 的前提下。随着 Istio 版本的不断发展，其服务模型和注册相关机制可能发生变化，和第三方服务注册表的集成方式也可能变化。

参考文档

  • Istio 服务注册插件机制

  • Istio Pilot代码深度解析

  • Istio and managing microservices

  • Istio 1.6 Change Notes

  • The recommended way to integrate a third-party service registry with Istio

weixin_38754564
关注
Istio的ServiceEntry
Micky_Yang的博客
07-31 4551
一、理解ServiceEntry 　　Istio支持对接Kubernetes、Consul等多种不同的注册中心，控制平面Pilot启动时，会从指定的注册中心获取Service Mesh集群的服务信息和实例列表，并将这些信息进行处理和转换，然后通过xDS下发给对应数据平面，保证服务之间可以互相发现并正常访问。 　　同时，由于这些服务和实例信息都来源于网格内部，Istio无法从注册中心直接获取网格外的服务，导致不利于网格内部与外部服务之间的通信和流量管理。为此，Istio引入了ServiceEntry实现对外通
Istio 服务条目 (Service Entry)
叶康铭的博客
10-07 4404
服务条目（Service Entry）是 Istio 重要的资源对象之一，作用是将外部的资源注册到 Istio 内部的网格服务中来，以提供网格内对外部资源的更加精细化的控制。 什么情况下会用到 Service Entry 在服务调用过程中会使用到外部的服务，例如微信、支付宝的付款服务，这个服务和本身集群内的服务无任何关系，通过服务条目将该服务注册到 Istio 网格，在集群内部就好像访问自身的服务一样，结合虚拟服务、目标规则进而通过一些高级的治理能力，例如限流、重试等等对服务治理能力支持。 通过例子来理.
Mesh2# 第三方注册中心集成istio
gaoliang1719的专栏
09-26 408
引言公司往往有自己的注册中心，有的使用Nacos、zookeeper等，还有自研的。这些在istio体系外的注册中心需要融入网格体系，让注册中心以及配置中心事件通知到istio，进而通过i...
istio服务条目（ServiceEntry）
ᠮᠤᠷᠢᠨ ᠬᠤᠭᠤᠷ
08-11 270
image: ccr.ccs.tencentyun.com/ imagePullPolicy: IfNotPresent name: test resources: limits: cpu: "2" memory: 2Gi requests: ...
Istio Client-go -- ServiceEntry
曾浩
08-25 401
查看ServiceEntry package main import ( "context" "log" "github.com/owenliang/k8s-client-go/common" "istio.io/api/networking/v1beta1" networkingv1beta1 "istio.io/client-go/pkg/apis/networking/v1beta1" versionedclient "istio.io/client-go/pkg/clientset/
【第三方服务与South迁移集成】：与缓存、搜索等服务协同工作的策略
![【第三方服务与South迁移集成】：与缓存、搜索等服务协同工作的策略]...本章将概述第三方服务集成的必要性和在其中应用缓存技术的重要性，为后续章节的深入探讨打下坚实的基础。 #
Python消息服务集成指南：message模块与第三方服务的协同工作
[Python消息服务集成指南：message模块与第三方服务的协同工作](https://terasolunaorg.github.io/guideline/5.2.0.RELEASE/en/_images/exception-handling-flow-annotation.png) # 1. Python消息服务基础 在这一...
对接第三方改造概要设计说明书.doc
11-20
考虑将服务拆分为多个微服务，每个微服务专注于特定的对接任务，如OpenApi接口处理、特定第三方平台的数据推送等，以提升服务响应速度和系统的整体稳定性。 2.2 PD-002 优化推送上级平台的失败记录与异常重试 ...
如何在 Go-kit 和 Service Mesh 中进行服务注册与发现？
aoho求索
05-29 591
Service Mesh 作为下一代的微服务架构，它将服务间的通信从基础设施中抽离出来，达到交付更可靠的应用请求、监控和控制流量的目的。Service Mesh一般与应用程序一同部署，作为...
Istio深度解析：ServiceMesh服务网格的新兴巨头
5. 灵活性和可扩展性：Istio的设计允许添加自定义插件，以适应不同的服务治理需求和集成第三方服务。 四、Istio与Kubernetes的关系 Istio和Kubernetes有着密切的联系。Kubernetes作为容器编排系统，负责管理服务...
Istio学习之CRD3⃣️：ServiceEntry
sHuXnHs
03-29 439
Istio学习之CRD3⃣️：ServiceEntry 服务网格中的工作负载想要访问网格外的服务时，有以下三种方法： 允许Envoy代理将请求透传到未在网格内部配置的服务（默认，通常情况下配置更严格的控制是更可取的） 配置 ServiceEntry以提供对外部服务的受控访问。 对于特定范围的IP，使用global.proxy.includeIPRanges配置完全绕过Envoy代理。 本篇主要来介绍一下OutboundTrafficPolicy.Mode的设置，ServiceEntry的使用与概念。 介
istio 0.8 ——用ServiceEntry访问外部服务（如RDS）
Ybt_c_index的博客
07-02 3642
如之前文章所说，istio 0.8大改路由，并且将flag --includeIPRanges移除，所以如之前这篇文章的方法已经不再适用。 至于为什么要去掉这个flag，可以看一下这个issue。 接下来以之前这篇文章的内容为例，编写一个ServiceEntry来访问外部RDS。 首先我们发布了一个连接RDS的服务。接着新建一个ServiceEntry： apiVersion: netwo...
Istio 流量管理 serviceEntry 出口流量管理
最新发布
小楼一夜听春雨，深巷明朝卖杏花
07-04 705
pod里面设置的是dnsPolicy:clusterFirst，它的意思就是优先使用集群里面的dns，这个也就是kube-system命名空间下面的coredns了，resolution: STATIC address: 192.168.26.3 这样是去解析www.baidu.com的时候解析为192.168.26.3（此处的endpoint的地址是www.baidu.com的IP）xx.rhce.cc，也就是出去的时候流量，xx.rhce.cc不是集群的，它不是我们网格里面的。
k8s之Istio ServiceEntry实例(1)
jiayu的博客
04-30 889
由于默认情况下，来自 Istio-enable Pod 的所有出站流量都会重定向到其 Sidecar 代理，集群外部 URL 的可访问性取决于代理的配置。默认情况下，Istio 将 Envoy 代理配置为允许传递未知服务的请求。尽管这为入门 Istio 带来了方便，但是，通常情况下，配置更严格的控制是更可取的
Istio 流量管理核心资源 VirtualService（虚拟服务）/DestinationRule（目标规则）/ Gateway（网关）/ ServiceEntry（服务入口）
小楼一夜听春雨，深巷明朝卖杏花
07-13 2048
istio最重要的是数据平面有个组件叫sidecar，它里面是采用的envoy的代理转发器，拦截所有业务程序的流量，只要你的业务程序接入了istio，到你业务的流量会被proxy接管，最重要的就是管理流量。核心资源： 上面4个是lstio在流量管理实现的具体资源。也即是我们要实现流量管理策略，都是基于这些资源去配置的。 VirtualService（虚拟服务）： 这里创建了gateway，监听的地址是80，只创建监听的路口是不行的，不具备一个转发的功能，下面是其具体的路由规则，service名称和端口。虚拟
istio系列：第五章-ServiceEntry内到外的通讯配置
a1023934860的博客
06-24 814
在isito中，我们一般都是通过服务名去注册中心寻找服务，原理类似于springcloud中的nacos。对于服务注册一般都是采用自动发现与注册的方式，但是istio提供了ServiceEntry资源让我们可以手动对服务进行注册。在这里我们想到了一个问题就是那可不可以将外部服务也注册到istio中去哪？答案是可以。接下来就让我们了解一下ServiceEntry的各个属性 Hosts 定义服务名称，可以是DNS、前缀模糊匹配，用于virtual service中的host等使用表示与服务关联的虚拟IP地址，可
Istio 访问 ServiceEntry host 无法解析
baobaoxiannv的博客
03-08 1316
场景：现在有一个 httpbin 服务直接通过 service entry 注册到网格内部，但是使用确无法解析到域名，下面是实际的错。现在就要解决问题 / # curl httpbin.remote:30655/ip curl: (6) Could not resolve host: httpbin.remote 首先检查有没有配置 DNS apiVersion: install.istio.io/v1alpha1 kind: IstioOperator spec: meshConfig: d
Istio系列学习(十一)----Istio的外部服务配置和代理规则配置
我在深圳的这些日子的博客
02-10 3310
一、Istio的外部 服务配置:ServiceEntry 网格外的服务也需要像网格内的服务一样进行管理，所以需要将网格外的服务加入网格中，即把外部服务加入istio的服务发现。 serviceEntry的配置示例 如图 包装了一个对www.weatherdb.com外部服务的访问。之后再virtualService中就可以做类似的处理了. serviceEntry规则的定义和用法 主要字段包括： 1）hosts：必选字段，表示外部服务的主机名，可以是DNS域名，也可以使用前缀模糊匹配。说明： ◎
istio架构及概念
KK下山去买菜
01-14 1062
文章目录istio功能特性流量管理安全可观察性扩展性istio架构主要组件流量管理相关概念数据面相关概念pilot相关概念xDS引用参考 istio功能特性 流量管理 Istio 简单的规则配置和流量路由允许您控制服务之间的流量和 API 调用过程。Istio 简化了服务级属性（如熔断器、超时和重试）的配置，并且让它轻而易举的执行重要的任务（如 A/B 测试、金丝雀发布和灰度发布）。 安全 istio 的安全特性解放了开发人员，使其只需要专注于应用程序级别的安全。Istio 提供了底层的安全通信通道，并为大
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值