Istio EnvoyFilter+Lua 简单实现动态路由转发

最新推荐文章于 2023-04-04 21:34:39 发布
最新推荐文章于 2023-04-04 21:34:39 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： istio 运维 文章标签： lua istio 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MichaelJScofield/article/details/126948885
版权

公众号： 尹安灿 欢迎关注交流

因为种种原因，我们需要实现一个将服务名和subset携带在http请求的header里面，根据这个来实现将服务转发去特定的istio的服务的subset。

比如以下example：

  • 携带 service: msg-group tag: gray 的话，将其路由去msg-group 的gray subset。

    该版本返回数据： Call Read from msg-group,By New version!!!!

  • 携带 service: msg-group tag: default 的话，将其路由去msg-group 的default subset。

    改版本返回数据: Call Read from msg-group

用istio的Virtual Service来实现

大概如下：

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: onroute-com
  namespace: develop
spec:
  gateways:
  - msggroup-gateway # 这个gateway - '*' 
  hosts:
  - onroute.com
  http:
  - match:
    - headers:
        service:
          exact: msg-group
        tag:
          exact: gray
    route:
    - destination:
        host: msg-group.develop.svc.cluster.local
        subset: gray
      headers:
        response:
          set:
            test: This value added By static route to gray
  - match:
    - headers:
        service:
          exact: msg-group
    route:
    - destination:
        host: msg-group.develop.svc.cluster.local
        subset: default
      headers:
        response:
          set:
            test: This value added By static route default

请求构造及结果如下：

注：10.99.20.74 是istio-ingressgateway的IP

请求 msg-group 的 gray 版本

# curl -v -H "Host: onroute.com" -H "service: msg-group" -H "tag: gray" 10.99.20.74/read
*   Trying 10.99.20.74:80...
* Connected to 10.99.20.74 (10.99.20.74) port 80 (#0)
> GET /read HTTP/1.1
> Host: onroute.com
> User-Agent: curl/7.77.0
> Accept: */*
> service: msg-group
> tag: gray
> 
* Mark bundle as not supporting multiuse
< HTTP/1.1 200 OK
< content-type: text/plain;charset=UTF-8
< content-length: 43
< date: Fri, 16 Sep 2022 07:36:35 GMT
< x-envoy-upstream-service-time: 7
< server: istio-envoy
< test: This value added By static route to gray
< 
* Connection #0 to host 10.99.20.74 left intact
Call Read from msg-group,By New version!!!!%

请求 msg-group 的 default 版本

curl -v -H "Host: onroute.com" -H "service: msg-group" -H "tag: default" 10.99.20.74/read
*   Trying 10.99.20.74:80...
* Connected to 10.99.20.74 (10.99.20.74) port 80 (#0)
> GET /read HTTP/1.1
> Host: onroute.com
> User-Agent: curl/7.77.0
> Accept: */*
> service: msg-group
> tag: default
> 
* Mark bundle as not supporting multiuse
< HTTP/1.1 200 OK
< content-type: text/plain;charset=UTF-8
< content-length: 24
< date: Fri, 16 Sep 2022 07:38:41 GMT
< x-envoy-upstream-service-time: 12
< server: istio-envoy
< test: This value added By static route default
< 
* Connection #0 to host 10.99.20.74 left intact
Call Read from msg-group%

能实现问题，但是有几个小问题

  1. 配置不够灵活，如果面对几百个服务，配置是个巨大的工作量。
  2. 不同的namespace要配置不同的规则。

用Envoy Filter + Lua来实现

针对上面提到的问题，如果用EnvoyFiltter来实现动态的路由的话，就可以解决这个问题。

解决思路都是围绕config.route.v3.RouteAction cluster_header 这个字段来的

(string) Envoy will determine the cluster to route to by reading the value of the HTTP header named by cluster_header from the request headers. If the header is not found or the referenced cluster does not exist, Envoy will return a 404 response.

  1. 设置route的cluster_header字段为 x-service
  2. 从header读取service和tag的值组合出upstream cluster格式，并将x-service头替换为它
apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: onroute-routing
  namespace: istio-system
spec:
  workloadSelector:
    labels:
      istio: ingressgateway
  configPatches:
  - applyTo: VIRTUAL_HOST
    match:
      context: GATEWAY
    patch:
      operation: ADD
      value:
        name: dynamic_routing
        domains:
          - 'onroute.com'
          - 'onroute.com:*'
        routes:
          - name: "path-matching"
            match:
              prefix: "/"
            route:
              cluster_header: "x-service"
  - applyTo: HTTP_FILTER
    match:
      context: GATEWAY
      listener:
        filterChain:
          filter:
            name: "envoy.http_connection_manager"
            subFilter:
              name: "envoy.router"
    patch:
      operation: INSERT_BEFORE
      value:
       name: envoy.service-helper
       typed_config:
         "@type": "type.googleapis.com/envoy.extensions.filters.http.lua.v3.Lua"
         inlineCode: |
          function envoy_on_request(request_handle)
            local headers = request_handle:headers()
            local mesh_service = headers:get("service")
            local tag = headers:get("tag")
            if mesh_service ~= nil then
              if tag ~= nil then
                request_handle:headers():replace("x-service", "outbound|80|" .. tag .. "|" .. mesh_service .. ".svc.cluster.local")
              end
            end
          end

          function envoy_on_response(response_handle)
            response_handle:headers():add("test", "from envoy filter response")
          end

下面是测试结果：

请求 msg-group的 gray 版本

curl -v -H "Host: onroute.com" -H "service: msg-group.develop" -H "tag: gray" 10.99.20.74/read
*   Trying 10.99.20.74:80...
* Connected to 10.99.20.74 (10.99.20.74) port 80 (#0)
> GET /read HTTP/1.1
> Host: onroute.com
> User-Agent: curl/7.77.0
> Accept: */*
> service: msg-group.develop
> tag: gray
> 
* Mark bundle as not supporting multiuse
< HTTP/1.1 200 OK
< content-type: text/plain;charset=UTF-8
< content-length: 43
< date: Fri, 16 Sep 2022 08:07:29 GMT
< x-envoy-upstream-service-time: 16
< server: istio-envoy
< test: from envoy filter response
< 
* Connection #0 to host 10.99.20.74 left intact
Call Read from msg-group,By New version!!!!%

请求 msg-group的 default 版本

curl -v -H "Host: onroute.com" -H "service: msg-group.develop" -H "tag: default" 10.99.20.74/read
*   Trying 10.99.20.74:80...
* Connected to 10.99.20.74 (10.99.20.74) port 80 (#0)
> GET /read HTTP/1.1
> Host: onroute.com
> User-Agent: curl/7.77.0
> Accept: */*
> service: msg-group.develop
> tag: default
> 
* Mark bundle as not supporting multiuse
< HTTP/1.1 200 OK
< content-type: text/plain;charset=UTF-8
< content-length: 24
< date: Fri, 16 Sep 2022 08:12:40 GMT
< x-envoy-upstream-service-time: 14
< server: istio-envoy
< test: from envoy filter response
< 
* Connection #0 to host 10.99.20.74 left intact
Call Read from msg-group%

参考资料

MichaelScofield
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
服务网格Istio中lua过滤器及测试样例
a605692769的博客
12-31 1996
Envoy中除了功能强大的http连接管理器之外，envoy还内置了诸多的http过滤器(L7)，用于自定义扩展http请求代理功能，如故障注入、外部授权、限流等。 其中lua过滤器允许在请求和响应流期间运行 Lua 脚本，该特性为扩展自定义处理流程预留了很大的操作空间。
Nginx利用Lua+Redis实现动态封禁IP的方法
01-10
本文给大家介绍的是Nginx利用Lua+Redis实现动态封禁IP的方法，下面话不多说了，来一起看看详细的介绍吧 二、架构 实现 IP 黑名单的功能有很多途径： 1、在操作系统层面，配置 iptables，拒绝指定 IP 的网络请求； 2...
【云原生 | Envoy 系列】--Envoy 动态配置及配置源-基于文件系统订阅
Q先生
09-28 1078
【云原生 | Kubernetes 系列】--Envoy 动态配置及配置源-基于文件系统订阅
envoyfilter 使用 lua 案例
tanjunchen的博客
09-08 947
使用 envoyfilter 与 lua 拓展 istio 案例。
istio通过envoyFilter实现nginx的error_page
ledrsnet的博客
11-04 907
注意：匹配的pod必须得开启istio sidecar注入，不然不生效，之前一直没查出问题只能选择上面的配置在istio-system空间里面了。需求：实现nginx的error_page，istio本身不支持，只能通过envoyfilter来实现。当收到后端返回503时候，并且响应header中action为redirect时重定向跳转到首页。ps: virtualSerivce支持自定义添加header参数。
ngx_lua学习笔记 -- capture + proxy 实现httpclient(转发学习记录)
weixin_43965939的博客
04-04 700
openresty
Nginx+lua通过url传参的方式实现动态代理
07-20
需求大致如下:通过url传参的方式,让Nginx代理到不同的服务器 浏览器输入:http://127.0.0.1/remote?port=8081被代理到:http://192.168.108.2:8081
java+redis+lua实现重复提交操作拦截.zip
05-18
本项目"java+redis+lua实现重复提交操作拦截"旨在解决这个问题，通过结合Java、Redis和Lua技术来构建一个高效的解决方案。以下是相关知识点的详细说明： 1. **Java AOP（面向切面编程）**： - AOP是一种编程范式，...
高并发Nginx+lua是如何抗住的
02-24
提到高并发或者抗压力，有这种高qps经验的同学第一反应大都是Nginx+lua+Redis，网上也满天非那种高并发架构方案大都是这种，但是Nginx+lua来做接入层到底是怎么抗住压力的呢？本篇顺序：1、Nginx如何抗住的高并发，...
NGINX+LUA实现复杂的控制
01-27
lua_nginx_module可以一步步的安装，也可以直接用淘宝的OpenRestyCentos和debian的安装就简单了。。这里说下freebsd的安装：安装完成后，我们体验一下luangx.say是打印的打印输出的意思。。。控制经过判断之后，才能...
读云原生服务网格Istio - 原理、实践、架构与源码解析
rtt_csdn的博客
11-28 2143
读istio云原生笔记
Kubernetes上的Service Mesh实践：用EnvoyFilter扩展Istio
ServiceMesher
09-05 4629
KUN（中文名鲲）是UCloud面向内部的基于Kubernetes的资源交付平台，提供监控告警、CI/CD、网络双栈、Service Mesh等能力。在践行Service...
不懂envoyfilter也敢说精通istio系列-ratelimit-istio ratelimit完全手册
mark's technic world
10-07 3225
欢迎关注我的公众号： 目前刚开始写一个月，一共写了18篇原创文章，文章目录如下： istio多集群探秘，部署了50次多集群后我得出的结论 istio多集群链路追踪，附实操视频 istio防故障利器，你知道几个,istio新手不要读，太难！ istio业务权限控制，原来可以这么玩 istio实现非侵入压缩，微服务之间如何实现压缩 不懂envoyfilter也敢说精通istio系列-http-rbac-不要只会用AuthorizationPolicy配置权限 不懂envoyfilter...
istio使用lua脚本实现外部授权
mywebuser的专栏
03-15 541
本文是最近一个项目的实际使用例子，研究了istio两周后开发的功能，解决了在使用istio中需要拦截http请求，穿插业务处理的情景
EnvoyFilter实践: 通过解析子域名注入环境标识
开心就好的专栏
08-28 681
istio EnvoyFilter实践: 自动注入环境标识header
Hango Rider：网易数帆开源 Envoy 企业级自定义扩展框架
NetEaseResearch的博客
02-11 2773
目前，Rider 扩展框架已经全面开源，并且被集成于开源 API 网关 Hango 当中，为 Hango 网关提供了灵活、强大、易用的自定义扩展能力。
Istio详解
Dusttang的博客
06-21 3416
纪念第一次写博客
EnvoyFilter
变成习惯
07-23 3089
EnvoyFilter EnvoyFilter 提供了一种机制，来自定义 Istio Pilot 生成的 Envoy 配置。使用 EnvoyFilter 可以 修改某些字段的值，添加特定的过滤器，甚至添加全新的监听器、集群等。必须谨慎使用此功能，因为不正确的配置可能会破坏整个网格的稳定性。与其他 Istio 网络对象不同，EnvoyFilters 是附加应用的。对于特定命名空间中的给定工作负载，可以有任意数量的 EnvoyFilters。这些 EnvoyFilters 的应用顺序如下：配置根命名空间中的所有
脚本lua_Redis + LUA 脚本实现分布式限流
最新发布
06-09
实现分布式限流可以使用 Redis 的 Lua 脚本来完成。以下是可能的实现方案： 1. 使用 Redis 的 SETNX 命令来实现基于令牌桶算法的限流 令牌桶算法是一种常见的限流算法，它可以通过令牌的放置和消耗来控制流量。在 Redis 中，我们可以使用 SETNX 命令来实现令牌桶算法。 具体实现步骤如下： - 在 Redis 中创建一个有序集合，用于存储令牌桶的令牌数量和时间戳。 - 每当一个请求到达时，我们首先获取当前令牌桶中的令牌数量和时间戳。 - 如果当前时间戳与最后一次请求的时间戳之差大于等于令牌桶中每个令牌的发放时间间隔，则将当前时间戳更新为最后一次请求的时间戳，并且将令牌桶中的令牌数量增加相应的数量，同时不超过最大容量。 - 如果当前令牌桶中的令牌数量大于等于请求需要的令牌数量，则返回 true 表示通过限流，将令牌桶中的令牌数量减去请求需要的令牌数量。 - 如果令牌桶中的令牌数量不足，则返回 false 表示未通过限流。 下面是使用 Redis 的 Lua 脚本实现令牌桶算法的示例代码： ```lua -- 限流的 key local key = KEYS[1] -- 令牌桶的容量 local capacity = tonumber(ARGV[1]) -- 令牌的发放速率 local rate = tonumber(ARGV[2]) -- 请求需要的令牌数量 local tokens = tonumber(ARGV[3]) -- 当前时间戳 local now = redis.call('TIME')[1] -- 获取当前令牌桶中的令牌数量和时间戳 local bucket = redis.call('ZREVRANGEBYSCORE', key, now, 0, 'WITHSCORES', 'LIMIT', 0, 1) -- 如果令牌桶为空，则初始化令牌桶 if not bucket[1] then redis.call('ZADD', key, now, capacity - tokens) return 1 end -- 计算当前令牌桶中的令牌数量和时间戳 local last = tonumber(bucket[2]) local tokensInBucket = tonumber(bucket[1]) -- 计算时间间隔和新的令牌数量 local timePassed = now - last local newTokens = math.floor(timePassed * rate) -- 更新令牌桶 if newTokens > 0 then tokensInBucket = math.min(tokensInBucket + newTokens, capacity) redis.call('ZADD', key, now, tokensInBucket) end -- 检查令牌数量是否足够 if tokensInBucket >= tokens then redis.call('ZREM', key, bucket[1]) return 1 else return 0 end ``` 2. 使用 Redis 的 Lua 脚本来实现基于漏桶算法的限流 漏桶算法是另一种常见的限流算法，它可以通过漏桶的容量和漏水速度来控制流量。在 Redis 中，我们可以使用 Lua 脚本来实现漏桶算法。 具体实现步骤如下： - 在 Redis 中创建一个键值对，用于存储漏桶的容量和最后一次请求的时间戳。 - 每当一个请求到达时，我们首先获取当前漏桶的容量和最后一次请求的时间戳。 - 计算漏水速度和漏水的数量，将漏桶中的容量减去漏水的数量。 - 如果漏桶中的容量大于等于请求需要的容量，则返回 true 表示通过限流，将漏桶中的容量减去请求需要的容量。 - 如果漏桶中的容量不足，则返回 false 表示未通过限流。 下面是使用 Redis 的 Lua 脚本实现漏桶算法的示例代码： ```lua -- 限流的 key local key = KEYS[1] -- 漏桶的容量 local capacity = tonumber(ARGV[1]) -- 漏水速度 local rate = tonumber(ARGV[2]) -- 请求需要的容量 local size = tonumber(ARGV[3]) -- 当前时间戳 local now = redis.call('TIME')[1] -- 获取漏桶中的容量和最后一次请求的时间戳 local bucket = redis.call('HMGET', key, 'capacity', 'last') -- 如果漏桶为空，则初始化漏桶 if not bucket[1] then redis.call('HMSET', key, 'capacity', capacity, 'last', now) return 1 end -- 计算漏水的数量和漏桶中的容量 local last = tonumber(bucket[2]) local capacityInBucket = tonumber(bucket[1]) local leak = math.floor((now - last) * rate) -- 更新漏桶 capacityInBucket = math.min(capacity, capacityInBucket + leak) redis.call('HSET', key, 'capacity', capacityInBucket) redis.call('HSET', key, 'last', now) -- 检查容量是否足够 if capacityInBucket >= size then return 1 else return 0 end ``` 以上是使用 Redis 的 Lua 脚本实现分布式限流的两种方案，可以根据实际需求选择适合的方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值