目标
灰度发布(又名金丝雀发布)是指在黑与白之间,能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B 上面来。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。
1.2架构图
1.3方案对比
1、在代码中做。
一套线上环境,代码中做开关,对于不同的用户走不同的逻辑
2、在接入层做。
多套(隔离的)线上环境,接入层针对不同用户转发到不同的环境中
两种方案的优缺点:
在代码中做灵活,粒度细;一套代码(环境)运维成本低灰度逻辑侵入代码
在接入层做无需(少)侵入代码;风险小多套线上环境,运维成本高
1.4具体实现
1.4.1.方案一:基于 Nginx 实现灰度发布系统
nginx 是一个反向代理的服务,用户请求发给它,由它转发给具体的应用服务器。这一层也叫做网关层。由它负责转发请求给应用服务器,那自然就可以在这里控制流量的分配,哪些流量走版本 A,哪些流量走版本 B。步骤如下:
1.首先启动两个同一服务不同版本。
服务-版本1
服务-版本2
2.启动nginx
3.配置nginx单机反向代理
流程图:
修改nginx配置dafault.conf
location ^~ /api {
rewrite ^/api/(.*)$ /$1 break;
proxy_pass http://192.168.1.6:3001;
}
这行就是加了一个路由,把 /api/ 开头的请求转发给 http://宿主机IP:3001 这个服务。用 rewrite 把 url 重写了,比如 /api/xxx 变成了 /xxx。注意: proxy_pass的地址需要改成你本地的地址。
将upstream下的server配置到服务版本2,可以看到如下效果:
4.根据cookie进行灰度发布
流程图
系统默认会把请求发给 upstream 下的 server。如果需要配置多个灰度版本,那在我们需要有多组 upstream,如下:
upstream version1.0_server {
server 192.168.1.6:3000;
}
upstream version2.0_server {
server 192.168.1.6:3001;
}
upstream default {
server 192.168.1.6:3000;
}
有版本 1.0 的、版本 2.0 的,默认的 server 列表。然后需要根据某个条件来区分转发给哪个服务。我们这里根据 cookie 来区分:
set $group "default";
if ($http_cookie ~* "version=1.0"){
set $group version1.0_server;
}
if ($http_cookie ~* "version=2.0"){
set $group version2.0_server;
}
location ^~ /api {
rewrite ^/api/(.*)$ /$1 break;
proxy_pass http://$group;
}
如果包含 version=1.0 的 cookie,那就走 version1.0_server 的服务,有 version=2.0 的 cookie 就走 version2.0_server 的服务,否则,走默认的。
经过上面的配置后,我们就实现了流量的划分,也就是灰度测试的功能。然后,我们重新跑下容器。打开浏览器的调试窗口,将cookie设置成1.0,访问 http://localhost:83/api/ 走到的就是默认的版本,如下图。
然后,带上 version=2.0 的 cookie,走到的就是另一个版本的代码。
经过上面的操作,我们就实现了一个简单的灰度发布系统。
5.nginx配置访问权重
实现一定比例的流量走版本 1.0,一定比例的流量走版本 2.0。
1.4.2.方案二:Spring Cloud全链路灰度发布
网关灰度发布实现的是网关通过灰度标记路由到用户服务B(灰度服务),至于从商品服务B到评论服务是通过openFeign内部调用的,默认无法实现灰度标记grayTag的透传,因此用户服务B最终调用的是无法保证调用商品服务的那个,也就是整个链路调用并不全是走灰度服务。
全链路灰度发布需要实现两个点:
a.网关路由转发实现灰度发布
b.服务内部通过openFeign调用实现灰度发布(透传灰度标记grayTag)。
实现步骤:
a.请求头Header上需有灰度grayTag=true标记
b.gateway网关层定义全局过滤器,把灰度标记设置到请求头,把grayTag标识放入ThreadLocal
c.自定义负载均衡规则,根据grayTag标识调用服务(true调用下游灰度服务,否则相反)
具体步骤:
1、自定义全局过滤器
@Slf4j @Component public class GlobalGrayFilter implements GlobalFilter{ @Override public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) { //① 解析请求头,查看是否存在灰度发布的请求头信息,如果存在则将其放置在ThreadLocal中 HttpHeaders headers = exchange.getRequest().getHeaders(); if (headers.containsKey(GrayConstant.GRAY_HEADER)){ String gray = headers.getFirst(GrayConstant.GRAY_HEADER); if (StrUtil.equals(gray,GrayConstant.GRAY_VALUE)){ //②设置灰度标记 GrayRequestContextHolder.setGrayTag(true); } } //③ 将灰度标记放入请求头中 ServerHttpRequest tokenRequest = exchange.getRequest().mutate() //将灰度标记传递过去 .header(GrayConstant.GRAY_HEADER,GrayRequestContextHolder.getGrayTag().toString()) .build(); ServerWebExchange build = exchange.mutate().request(tokenRequest).build(); return chain.filter(build); } } |
2、自定义负载均衡策略
具体逻辑:
A.获取灰度标记
B.从Nacos注册中心获取灰度服务和正常服务
C.根据灰度标记去判断,如果灰度发布则选择特定的灰度服务进行转发
** * 灰度发布的规则 */ public class GrayRule extends ZoneAvoidanceRule { @Override public void initWithNiwsConfig(IClientConfig clientConfig) { } @Override public Server choose(Object key) { try { //从ThreadLocal中获取灰度标记 boolean grayTag = GrayRequestContextHolder.getGrayTag().get(); //获取所有可用服务 List<Server> serverList = this.getLoadBalancer().getReachableServers(); //灰度发布的服务 List<Server> grayServerList = new ArrayList<>(); //正常的服务 List<Server> normalServerList = new ArrayList<>(); for(Server server : serverList) { NacosServer nacosServer = (NacosServer) server; //从nacos中获取元素剧进行匹配 if(nacosServer.getMetadata().containsKey(GrayConstant.GRAY_HEADER) && nacosServer.getMetadata().get(GrayConstant.GRAY_HEADER).equals(GrayConstant.GRAY_VALUE)) { grayServerList.add(server); } else { normalServerList.add(server); } } //如果被标记为灰度发布,则调用灰度发布的服务 if(grayTag) { return originChoose(grayServerList,key); } else { return originChoose(normalServerList,key); } } finally { //清除灰度标记 GrayRequestContextHolder.remove(); } } private Server originChoose(List<Server> noMetaServerList, Object key) { Optional<Server> server = getPredicate().chooseRoundRobinAfterFiltering(noMetaServerList, key); if (server.isPresent()) { return server.get(); } else { return null; } } } |
定义一个配置类,注入改造的灰度策略GrayRule,如下:
注意:这个GrayRuleConfig不能被扫描进入IOC容器,一旦扫描进入则全局生效
** * 灰度部署的负载规则配置类 * 注意:这个类一定不要被Spring Boot 扫描进入IOC容器中,一旦扫描进入则对全部的服务都将生效 */ public class GrayRuleConfig { @Bean public GrayRule grayRule(){ return new GrayRule(); } } |
配合@RibbonClients ,可以使单个服务(用户服务)灰度发布
@RibbonClients(value ={ //只对用户服务进行灰度发布 @RibbonClient(value = "user-server",configuration = GrayRuleConfig.class) } ) @SpringBootApplication public class GatewayApplication {
} |
3、openFeign调用透传灰度标记grayTag
openFeign在调用时并不是用的原先的Request,而是内部新建了一个Request,其中复制了请求的URL、请求参数一些信息,但是请求头并没有复制过去,因此openFeign调用会丢失请求头中的信息。
因此我们的新建个拦截器,把用户服务请求中的grayTag标识拷贝到openFeign新的request上.
@Component @Slf4j public class FeignRequestInterceptor implements RequestInterceptor { @Override public void apply(RequestTemplate template) { HttpServletRequest httpServletRequest = RequestContextUtils.getRequest(); Map<String, String> headers = getHeaders(httpServletRequest); for (Map.Entry<String, String> entry : headers.entrySet()) { //② 设置请求头到新的Request中 template.header(entry.getKey(), entry.getValue()); } } /** * 获取原请求头 */ private Map<String, String> getHeaders(HttpServletRequest request) { Map<String, String> map = new LinkedHashMap<>(); Enumeration<String> enumeration = request.getHeaderNames(); if (enumeration != null) { while (enumeration.hasMoreElements()) { String key = enumeration.nextElement(); String value = request.getHeader(key); //将灰度标记的请求头透传给下个服务 if (StrUtil.equals(GrayConstant.GRAY_HEADER,key)&&Boolean.TRUE.toString().equals(value)){ //① 保存灰度发布的标记 GrayRequestContextHolder.setGrayTag(true); map.put(key, value); } } } return map; } } |
4、nacos中配置服务是否是灰度服务
两种方式:
A.在配置文件中指定,如下:
spring: cloud: nacos: discovery: metadata: ## 灰度标记 grayTag: true |
B.在Nacos中动态的指定灰度标记