【Java微服务架构 Dubbo篇】-2-Dubbo

Dubbo 简介

Apache Dubbo (incubating) 是一款高性能、 轻量级的开源Java RPC分布式服务框架,它提供了三大核心能力:面向接口的远程方法调用**,智能容错和负载均衡**,以及服务自动注册和发现。她最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合)。从服务模型的
角度来看,Dubbo 采用的是一种非常简单的模型, 要么是提供方提供服务,要么是消费方消费服务,所以基于这点可以抽象出服务提供方 (Provider) 和服务消费方(Consumer)两个角色。

Dubbo的服务治理

在这里插入图片描述

特性描述
透明远程调用就像调用本地方法一样调用远程方法;只需简单配置,没有任何API侵入
负载均衡机制Client端LB,可在内网替代F5等硬件负载均衡器
容错重试机制服务Mock数据,重试次数、超时机制等
自动注册发现注册中心基于接口名查询服务提供者的IP地址,并且能够平滑添加或删除服务提供者
性能日志监控Monitor统计服务的调用次调和调用时间的监控中心
服务治理中心路由规则,动态配置,服务降级,访问控制,权重调整,负载均衡,等手动配置
自动治理中心无,比如:熔断限流机制、自动权重调整等

Dubbo的核心功能

  • Remoting:远程通讯,提供对多种NIO框架抽象封装,包括“同步转异步”和“请求-响应模式的信息交换方式。
  • Cluster: 服务框架,提供基于接口方法的透明远程过程调用,包括多协议支持,以及软负载均衡,失败容错,地址路由,动态配置等集群支持。
  • Registry: 服务注册中心,服务自动发现:基于注册中心目录服务, 使服务消费方能动态的查找服务提供方,使地址透明,使服务提供方可以平滑增加或减少机
    器。

Dubbo的组件角色

组件角色说明
Provider暴露服务的服务提供方
Consumer调用远程服务的服务消费方
Registry服务注册与发现的注册中心
Monitor统计服务的调用次数和调用时间的监控中心
Container服务运行容器

调用关系说明:

  • 服务容器Container负责启动,加载,运行服务提供者。
  • 服务提供者Provider在启动时,向注册中心注册自己提供的服务。
  • 服务消费者Consumer在启动时,向注册中心订阅自己所需的服务。
  • 注册中心Registry返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。
  • 服务消费者Consumer ,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。
  • 服务消费者Consumer和提供者Provider,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心Monitor

Dubbo Admin 管理控制台

管理控制台分为内部裁剪版本,开源部分主要包含:路由规则,动态配置,服务降级,访问控制,权重调整,负载均衡等管理功能。
GitHub:https://github.com/apache/incubator-dubbo-ops
在这里插入图片描述

# 打包
mvn clean package

# 运行
mvn --projects dubbo-admin-backend spring-boot:run

# 浏览
http://localhost:8080

遇到的问题处理

NodeJS

  • 现象:使用mvn clean package构建DubboAdmin控制台时会出现npm install操作
  • 解决:新版控制台已改为前后分离模式,前端采用Vue.js开发,故需要NodeJS支持,请自行安装(运行到此处时会自动下载安装)。官网地址:http://nodejs.cn/
  • 其他:配置淘宝镜像加速。官网地址:http://npm.taobao.org/

Will not attempt to authenticate using SASL(unknown error)

  • 现象:使用mvn --projects dubbo-admin-backend spring-boot:run穹顶DubboAdmin控制台时,控制台日志中出现==Will not attempt to authenticate using SASL(unknown error)==提示
  • 解决:修改C:\Windows\System32\drivers\etc\hosts文件,增加192.168.10.131 ubuntu16 即可解决

**注意:**此处的192.168.10.131为Zookeeper地址

两处 npm WARN

  • 现象:使用mvn clean package构建DubboAdmin控制台时会出现npm install操作,此时还会出现两处警告,分别为
    • npm WARN optional SKIPPING OPTIONAL DEPENDENCY:fsevents@1.2.4(node_modules\fsevents)
    • npm WARN notsup SKIPPING OPTIONAL DEPENDENCY:Unsupported platform for fsevents@1.2.4:wanted {“os”:“darwin”,“arch”:“any”} (current:{“os”:“win32”,“arch”:“x64”})
  • 解决:从警告说明中可以看出,fsevents模块用于=={“os”:“darwin”,“arch”:“any”}== Mac系统,当前系统为 (current:{“os”:“win32”,“arch”:“x64”}) Windows系统,不予理会即可

第一个Dubbo应用程序

在这里插入图片描述

创建服务提供者

创建一个名为hello-dubbo-service-user-provider的项目,该项目用于提供接口

POM

只要增加了以下依赖:

  • com.alibaba.boot:dubbo-spring-boot-starter:0.2.0: Dubbo Starter, 0.2.0 版本支持Spring Boot2.x,是一个长期维护的版本。注: 0.1.0 版本已经不推荐使用了,是个短期维护的版本,如果你还在用旧版,请大家尽快升级。
  • com.alibaba.boot: dubbo-spring-boot-actuator:0.2.0 : Dubbo的服务状态检查
  • com.funtl: hello-dubbo-service-user-api:1.0.0-SNAPSHOT :刚才创建的接口项目,如果无法依赖别忘记先mvn clean install到本地仓库。

通过@service 注解实现服务提供方

在这里插入图片描述

Application

在这里插入图片描述

application.yml

在这里插入图片描述
在这里插入图片描述

创建服务消费者

创建一个名为hello-dubbo-service-user-consumer的项目,该项目用于消费接口(调用接口)

POM

  • spring-boot-starter改为spring-boot-starter-web

Application

在这里插入图片描述

application.yml

与provider的配置基本相同

通过@Reference注解调用服务提供方

在这里插入图片描述

Dubbo的负载均衡

在集群负载均衡时,Dubbo提供了多种负载均衡策略,缺省为random随机调用。

负载均衡策略

Random LoadBalance

  • 随机,按权重设置随机概率。
  • 在一个界面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。

RoundRobin LoadBalance

  • 轮询,按公约后的权重设置轮询比率。
  • 存在慢的提供者累积请求的问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调的第二台上。

LeastActive LoadBalance

  • 最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。
  • 使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。

ConsistentHash LoadBalance

  • 一致性Hash,相同参数的请求总是发到同一提供者。
  • 当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其他提供者,不会引起剧烈变动。
  • 算法参见:http://en.wikwpedia.org/wiki/Consistent_hashing
  • 缺省只对第一个参数 Hash,如果要修改,请配置 < dubbo:parameter key=“hash.argments” value=“0,1” />
  • 缺省用160份虚拟节点,如果要修改,请配置< dubbo:parameter key=“hash.nodes” value="320 "/>

配置

服务端服务级别

<dubbo:service interface="..." loadbalance="roundrobin" >

客户端服务级别

<dubbo:reference interface="..." loadbalance="roundrobin" >

服务端方法级别

<dubbo:service interface="...">
	<dubbo:method name="..." loadbalance="roundrobin" />
</dubbo:service>

客户端方法级别

<dubbo:reference ce interface="...">
	<dubbo:method name="..." loadbalance="roundrobin" />
</dubbo:reference>

使用 Kryo 实现高速序列化

Dubbo 中的序列化

Dubbo RPC是Dubbo体系中最核心的一种高性能、高吞吐量的远程调用方式,可以称之为多路复用的TCP长连接调用:

  • 长连接:避免了每次调用新建TCP连接,提高了调用的响应速度
  • 多路复用:单个TCP连接可交替传输多个请求和响应的消息,降低了连接的等待闲置时间,从而减少了同样并发数下的网络连接数,提高了系统吞吐量

Dubbo RPC主要用于两个Dubbo系统之间的远程调用,特别适合高并发、小数据的互联网场景。而序列化对于远程调用的响应速度、吞吐量、网络带宽消耗等同样也起着至关重要的作用,是我们提升分布式系统性能的最关键因素之一。

Dubbo中支持的序列化方式:

  • dubbo序列化:阿里尚未开发成熟的高效java序列化实现,阿里不建议在生产环境使用它
  • hessian2 序列化: hessian 是一种跨语言的高效二进制序列化方式。但这里实际不是原生的hessian2序列化,而是阿里修改过的hessian lite,它是dubbo RPC默认启用的序列化方式
  • json 序列化:目前有两种实现,一种是采用的阿里的fastjson库,另一种是采用dubbo中自己实现的简单json库,但其实现都不是特别成熟,而且json这种文本序列化性能一般不如上面两种二进制序列化。
  • java 序列化:主要是采用JDK自带的Java序列化实现,性能很不理想。
    在通常情况下,这四种主要序列化方式的性能从上到下依次递减。对于dubbo RPC这种追求高性能的远程调用方式来说,实际上只有1、2两种高效序列化方式比较般配,而第1个dubbo序列化由于还不成熟,所以实际只剩下2可用,所以dubbo RPC默认采用hessian2列化。

但hessian是一个比较老的序列化实现了,而且它是跨语言的,所以不是单独针对Java进行优化的。而dubbo RPC实际上完全是一种Java to Java的远程调用,其实没有必要采用跨语言的序列化方式(当然肯定也不排斥跨语言的序列化)。

最近几年,各种新的高效序列化方式层出不穷,不断刷新序列化性能的上限,最典型的包括:

  • 专门针对Java语言的: Kryo, FST等等
  • 跨语言的: Protostuff, ProtoBuf, Thrift, Avro, MsgPack等等

这些序列化方式的性能多数都显著优于hessian2 (甚至包括尚未成熟的dubbo序列化)

有鉴于此,我们为dubbo引入Kryo和FST这两种高效Java序列化实现,来逐步取代hessian2。

其中,Kryo 是一种非常成熟的序列化实现,已经在Twitter、Groupon、 Yahoo 以及多个著名开源项目(如 Hive、Storm) 中广泛的使用。而FST 是一种较新的序列化实现,目前还缺乏足够多的成熟使用案例。

在面向生产环境的应用中,目前更优先选择Kryo。

启用 Kryo

在Provider和Consumer项目启用 Kryo 高速序列化功能,两个项目的配置方式相同

增加 Kryo 依赖

<dependency>
	<groudId>de.javakaffee</groupId>
	<artifactId>kryo-serializers</artifactId>
	<version>0.42</version>
</dependency>

增加配置

使用Kryo和FST非常简单,只需要在dubbo RPC的XML配置中添加一个属性即可:
<dubbo:protocol name="dubbo" serialization="kryo"/>
<dubbo:protocol name="dubbo" serialization="fst"/>

注册被序列化类

要让Kryo和FST完全发挥出高性能,最好将那些需要被序列化的类注册到dubbo系统中,例如,我们可以实现如下回调接口:
在这里插入图片描述
在注册这些类后,序列化的性能可能被大大提升,特别针对小数量的嵌套对象的时候。

当然,在对一个类做序列化的时候,可能还级联引用到很多类,比如Java集合类。针对这种情况,我们已经自动将JDK中的常用类进行了注册,所以你不需要重复注册它们(当然你重复注册了也没有任何影响),包括:
在这里插入图片描述
由于注册被序列化的类仅仅是出于性能优化的目的,所以即使你忘记注册某些类也没有关系。事实上,即使不注册任何类,kryo和FST的性能依然普遍优于hessian和dubbo序列化。

为什么需要手动注册

当然,有人可能会问为什么不用配置文件来注册这些类?这是因为要注册的类往往数量较多,导致配置文件冗长;而且在没有好的IDE支持的情况下,配置文件的编写和重构都比Java类麻烦得多:最后,这些注册的类一般是不需要在项目编译打包后还需要做动态修改的。

另外,有人也会觉得手工注册被序列化的类是一种相对繁琐的工作,是不是可以用annotation来标注,然后系统来自动发现并注册。但这里annotation的局限是,它只能用来标注你可以修改的类,而很多序列化中引用的类很可能是你没法做修改的(比如第三方库或者JDK系统类或者其他项目的类)。另外,添加annotation毕竟稍微的“污染”了一下代码, 使应用代码对框架增加了一点点的依赖性。

除了annotation,我们还可以考虑用其它方式来自动注册被序列化的类,例如扫描类路径,自动发现实现Serializable接口(甚至包括Externalizable)的类并将它们注册。当然,我们知道类路径上能找到Serializable类可能是非常多的,所以也可以考虑用package前缀之类来一定程度限定扫描范围。

当然,在自动注册机制中,特别需要考虑如何保证服务提供端和消费端都以同样的顺序(或者ID)来注册类,避免错位,毕竟两端可被发现然后注册的类的数量可能都是不一样的。

无参构造函数和 Serializable 接口

如果被序列化的类中不包含无参的构造函数,则在Kryo的序列化中,性能将会大打折扣,因为此时我们在底层将用Java的序列化来透明的取代Kryo序列化。所以,尽可能为每 一个被序列化的类添加无参构造函数是一种最佳实践(当然一个Java类如果不自定义构造函数,默认就有无参构造函数)。

另外,Kryo 和FST都不需要被序列化类实现Serializable接口,但我们还是建议每个被序列化类都去实现Serializable 接口,因为这样可以保持和Java序列化以及dubbo序列化的兼容性,另外也使我们未来采用上述某些自动注册机制带来可能。

使用 Hystrix 实现服务熔断

熔断器简介

在微服务架构中,根据业务来拆分成一个个的服务,服务与服务之间可以通过RPC相互调用。为了保证其高可用,单个服务通常会集群部署。由于网络原因或者自身的原因,服务并不能保证100%可用,如果单个服务出现问题,调用这个服务就会出现线程阻塞,此时若有大量的请求涌入,Servlet容器的线程资源会被消耗完毕,导致服务瘫痪。服务与服务之间的依赖性,故障会传播,会对整个微服务系统造成灾难性的严重后果,这就是服务故障的“雪崩”效应。

为了解决这个问题,业界提出了熔断器模型。

Netflix 开源了Hystrix 组件,实现了熔断器模式,Spring Cloud对这一组件进行了整合。 在微服务架构中,一个请求需要调用多个服务是非常常见的,如下图:
在这里插入图片描述
较底层的服务如果出现故障,会导致连锁故障。当对特定的服务的调用的不可用达到一个阀值(Hystrix是5秒20次)熔断器将会被打开。
在这里插入图片描述
熔断器打开后,为了避免连锁故障,通过fallback方法可以直接返回一个固定值。

Dubbo Provider中使用熔断器

pom.xml中增加依赖

<dependency>
	<groudId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
	<version>2.0.1.RELLEASE</version>
</dependency>

在Application中增加@EnableHystrix注解

在这里插入图片描述

在Service 中增加@HystrixCommand注解

在调用方法上增加@HystrixCommand配置,此时调用会经过 Hystrix 代理
在这里插入图片描述

测试熔断器

此时我们再次请求服务提供者,浏览器会报 500 异常
Exception to show hystrix enable.

Dubbo Consumer 中使用熔断器

pom.xml中增加依赖

<dependency>
	<groudId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
	<version>2.0.1.RELLEASE</version>
</dependency>

在Application 中增加@EnableHystrix注解

在这里插入图片描述

在调用方法上增加@HystrixCommand注解,并指定fallbackMethod方法

在这里插入图片描述

测试熔断器

此时我们再次请求服务提供者,浏览器会显示:
Hystrix fallback
至此,Dubbo + Hystrix 配置完成

使用Hystrix熔断器仪表盘

使用熔断器仪表盘监控

在Provider和Consumer项目增加Hystrix仪表盘功能,两个项目的改造方式相同

pom.xml中增加依赖

<dependency>
	<groudId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-netflix-hystrix-dashboard</artifactId>
	<version>2.0.1.RELLEASE</version>
</dependency>

在Application中增加@EnableHystrixDashboard注解

在这里插入图片描述

创建hystrix.stream的Servlet配置

Spring Boot 2.x 版本开启 Hystrix Dashboard 与Spring Boot 1.x 的方式略有不同,需要增加一个 HystrixMetricsServlet 的配置,代码如下:
在这里插入图片描述

测试 Hystrix Dashboard

浏览器端访问 http://localhost:9090/hystrix 界面如下:
在这里插入图片描述
点击 Monitor Stream,进入下一个界面,访问 http://localhost:9090/hi 触发熔断后,监控界面显示效果如下:
在这里插入图片描述

附:Hystrix 说明

什么情况下会触发fallback方法

名字描述触发fallback
EMIT值传递NO
SUCCESS执行完成,没有错误NO
FAILURE执行抛出异常YES
TIMEOUT执行开始,但没有在允许的时间内完成YES
BAD_REQUEST执行抛出HystrixBadRequestExceptionNO
SHORT_CIRCUITED断路器打开,不尝试执行YES
THREAD_POOL_REJECTED线程池拒绝,不尝试执行YES
SEMAPHORE_REJECTED信号量拒绝,不尝试执行YES

fallback方法什么情况下会抛出异常

名字描述抛异常
FALLBACK_EMITFallback值传递NO
FALLBACK_SUCCESSFallback执行完成,没有错误NO
FALLBACK_FAILUREFallback执行抛出出错YES
FALLBACK_REJECTEDFallback信号量拒绝,不尝试执行YES
FALLBACK_MISSING没有Fallback实例YES

Hystrix Dashboard 界面监控参数

在这里插入图片描述

Hystrix 常用配置信息

超时时间(默认1000ms,单位:ms)
  • hystrix.commadn.default.execution.isolation.thread.timeoutInMilliseconds:在调用方配置,被该调用方的所有方法的超时时间都是该值,优先级低于下边的指定配置
  • hystrix.commadn.HystrixCommandKey.execution.isolation.thread.timeoutInMilliseconds:在调用方配置,被该调用方的指定方法(HystrixCommandKey方法名)的超时时间是该值
线程池核心线程数
  • hystrix.threadpool.default.coreSize:默认为10
Queue
  • hystrix.threadpool.default.maxQueueSize:最大排队长度。默认-1,使用SynchronousQueue。其他值则使用LinkedBlockingQueue。如果要从-1换成其他值则需重启,即该值补鞥呢动态调整,若要动态调整,需要使用到下边这个配置
  • hystrix.threadpool.default.queueSizeRejectionThreshold:排队线程数量阈值,默认为5,达到时拒绝,如果配置了该选项,队列的大小是该队列

**注意:**如果maxQueueSize=-1的话,则该选项不起作用

断路器
  • hystrix.command.default.circuitBreaker.requestVolumeThreshold:当在配置时间窗口内达到此数量的失败后,进行短路。默认20个(10s内请求失败数量达到20个,断路器开)
  • hystrix.command.default.circuitBreaker.sleepWindowInMilliseconds:短路多久以后开始尝试是否恢复,默认为5s
  • hystrix.command.default.circuitBreaker.errorThresholdPercentage:出错百分比阈值,当达到此阈值后,开始短路。默认为50%
fallback
  • hystrix.command.default.fallback.isolation.semaphore.maxConcurrentRequests:调用线程允许请求==HystrixCommand.GetFallback()==的最大数量,默认10。超出时将会有异常抛出,注意:该项配置对于 THREAD 隔离模式也起作用
属性配置参数
  • 参数说明: http://github.com/Netflix/Hystrix/wiki/Configuration
  • HystrixProperty 参考代码: http://www.programcreek.com/java-api-examples/index.php?source_dir=Hystrix-master/hystrix-contrib/hystrix-javanica/src/test/java/com/netflix/hystrix/contrib/javanica/test/common/configuration/command/BasicCommandPropertiesTest.java
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值