HSF的原理分析

一．HSF的基本概念

阿里巴巴的应用提供一个分布式的服务框架，HSF从分布式应用层面以及统一的发布/调用方式层面为大家提供支持，从而可以很容易的开发分布式的应用以及提供或使用公用功能模块。它是附属在你的应用里的一个组件，一个RPC组件(远程过程调用——Remote Procedure Call，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。在OSI网络通信模型中，RPC跨越了传输层和应用层，RPC使得开发分布式应用更加容易。作为桥梁联通不同的业务系统，解耦系统之间的实现依赖。其高速体现在底层的非阻塞I/O以及优秀的序列化机制上，实现了同步和异步调用方式，并且有一套软负载体系，实现分布式应用。

二、基础概念解释

1.对象的序列化

序列化 (Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。

2.动态代理

对于消费方来说，所存在的只有一个接口，虽然底层的实现原理我们知道，但是为了在使用时的高度透明，在JAVA语言层面上的表现形式则是通过动态代理的方式实现的，很多的逻辑都在InvocationHandler 中处理的。关于如何实现动态代理，还动态代理的一些使用的细节也可以稍作了解。

3.网络通信NIO

如果在网络传输过程中，采取普通的BIO,会有很多的问题存在，例如如果调用端有多个请求过来，那么就得需要多个线程去处理，每个线程都使用独立的连接，在远端的提供者端有对应的多个线程来执行相应的服务。这种方式会使得调用者和提供者之间建立大量的连接，而且是阻塞的方式，连接并不能得到充分的利用(摘自《大型网站系统与JAVA中间件》)。采用NIO则就可以避免这样的损耗，但是HSF在使用时并不是采用直接的NIO编程，而是通过第三方的框架Netty。
 

二．HSF 实现原理

1.提供服务的大致流程如下：
• server启动时候向configserver注册

<bean id="dwkfjktarget" class="gov.****.**.**.service.impl.****ServiceImpl" />
	<bean id="DwkfjkServiceCsiProviders" class="com.taobao.hsf.app.spring.util.HSFSpringProviderBean"
		init-method="init">
		<property name="serviceInterface" value="gov.gdntax.yhzx.csi.dwkfjk.IDwkfjkServiceCsi" />
		<property name="serviceVersion" value="1.0.0" />
		<property name="serviceGroup" value="DZSWJ_YHZX_W_CS" />
		<property name="target" ref="dwkfjktarget" />
		<property name="clientTimeout" value="300000"></property>
	</bean>

• client启动时候向configserver请求list

<bean id="DwkfjkServiceCsi" class="com.taobao.hsf.app.spring.util.HSFSpringConsumerBean"
		init-method="init">
		<property name="interfaceName" value="gov.gdntax.yhzx.csi.dwkfjk.IDwkfjkServiceCsi"/>
		<property name="version" value="1.0.0" />
		<property name="group" value="DZSWJ_YHZX_W_CS" />
		<property name="clientTimeout" value="300000" />
	</bean>

• client缓存list，发现不可用的server，从缓存中remove
• configserver通过心跳包维护可用server的list
• list有更新的时候，configserver通过带version的报文通知client更新

3.HSF架构

其实分布式应用中，一般情况下你的某个节点的应用不仅仅是client客户端，也是server服务端，因为你不仅需要去调用其他应用提供的服务，也提供服务给其他应用，所以这样一来，整个hsf的服务调用链路也会很复杂。

从上面两幅图中我们很显然的发现一个问题，就是服务提供者如何告知客户端他提供的服务，所以需要有一个服务注册与发现的地方，在HSF架构中提供这个功能的是configserver，如下图：

从上图可以看出server端启动的时候会向configserver注册自己提供的服务，client会向configserver订阅需要的服务，configserver通过订阅信息将相关服务提供者的地址以及其他关键信息推送给client。

上面已经实现了基本的能力，但是如何动态配置负载（线程池大小）、默认配置（configserver地址等）、还有一些特性功能（如路由规则），这时候就需要有一个持久化配置中心，如下图：

client和server启动的时候会先去diamond获取需要的配置信息，如最关键的服务注册中心的类型和地址，除此之外之外还有服务治理的类型和地址等。

ConfigServer：远程调用对端的地址就是由ConfigServer 来推送的，这样用户只需要配置自己的服务端或者消费端，不需要对自己的地址进行管理。

Diamond：持久化的配置中心，用于配置服务调用的规则。

服务：服务是调用方和提供方交流的依凭，一般是一个接口，表示一个业务行为以及相关的数据含义。通过使用HSFApiProviderBean能够暴露一个服务，将机器的地址注册到configserver，并且能够通过12200端口进行服务提供，通过HSFApiConsumerBean能够包装出一个客户端，它是服务接口的一个代理，并且它从configserver上订阅了服务的地址列表，能够在这个列表上完成随机调用，做到负载均衡与HA((High Available,高可用性群集)。

网络通信:HSF的底层网络通信是使用netty框架实现的，是基于epoll的NIO的网络通讯框架，HSF在此使用的是长连接，通过合理的服务部署及负债均衡，基本不存在I/O方面的限制。

HSF调用流程

上图是HSF整个的调用过程，从左向右看：
第一条线路相当于consumer进行服务调用的过程，首先经过proxy层，将请求经过代理类包装出去；然后是Remoting层进行协议的包装，最后io层发送出去。
第二条线路相当于provider将结果返回后解析的过程，与上一流程刚好相反。
右边的provider两条调用流程相信大家都能按照上面的过程理解，就不一一讲解了。

四．HSF处理请求流程

1.HSF提供端初始化

2.HSF消费端初始化

3.消费方请求到提供方，响应一次调用

4.实现细节

心跳检测：

1、客户端主动关闭连接：客户端第一次与服务端建立链接后，就会周期性（27s）发送心跳包的callback调用，如果连续三次收不到服务端的心跳包回应，客户端主动关闭链接

2、服务端主动关闭连接：当连接59s没有调用（对方网络不可用，或者full gc太久），相当于两次（2*27s）收不到心跳包的时间

从上图可以看出RPC要解决以下几个问题：

如何解决网络通信问题，主要是通过在客户端和服务器之间建立TCP连接，远程过程调用的所有交换的数据都在这个连接里传输。连接可以是按需连接，调用结束后就断掉，也可以是长连接，多个远程过程调用共享同一个连接。

如何解决寻址问题，客户端如何找到制定的服务端，也就是保证准确有效的完成一次服务调用的前提。

参数的传递及服务端在收到客户端请求后如何实现其具体功能并返回，由于网络传输协议是二进制的，内存中的参数值必须要解决序列化，反序列化，以及对半包，粘包的处理。

 

五.HSF的优点:

1.服务的自动注册、发现

通过注册中心，实现服务的注册/注销与服务的发现。当服务启动后，会调用publish来将服务发布到中心，而服务的消费者，通过调用订阅接口传入的监听器来更新服务提供者列表。HSF提供了三种注册中心实现，分别是ConfigServer，Zookeper，和配置文件模式。

 

2) 服务提供者与消费者之间长连接。

  HSF采用长连接方式进行通信，相比短连接，长连接更具性能优势，避免连接重复创建与销毁带来的缓冲区申请与释放。HSF抽象了连接AbstractClient(Client)，并采用了netty框架作为底层实现。netty是一个性能非常优秀的通信框架，基于反应器模式，内部采用了管线模式来解耦不同层次的逻辑之间的耦合问题。HSF为了强化TCP连接的可用性，增加HeartBeat功能，使用了一个Netty提供的 HashedWheelTimer 的定时任务调度器来执行心跳包的发送(补充：此HashedWheelTimer原理采用轮片式的桶结构，避免每次操作对全部任务的迭代操作，只对将要到期的桶进行操作，此原理也可用于缓存系统设计，在需要进行垃圾回收的情况下只需要按照桶为单位进行内存回收)。

3) 非侵入性

  HSF最大优点是非侵入性，它使用了JAVA的Proxy机制来实现这一特点，在通过xml配置文件配置Consumer的时候，实际上是调用了 HSFApiConsumerBean ，在它的初始化方法中，读取了配置的实现接口，并在ProcessComponent中用一个封装了Proxy注册功能，并实现了InvocationHandler接口的类HSFServiceProxy去管理。使用者在自己的代码中无需做任何特殊处理，就像使用本地方法一样去调用其方法。

4) 版本管理

  这一特性可以很灵活的帮助上线运营的服务在升级过程中避免服务不可用的情况。

5) 服务治理

  可以通过网页可视化查看、管理、测试服务的可用。

6) 扩展灵活

  可以接入自动服务降级功能(熔断) - 根据配置或服务的执行结果，在调用级控制服务是否调用执行，避免服务整体瘫痪，提升服务的可用性。