负载均衡器设计

负载均衡器工作原理有两大方法：

1.  接收客户端请求，将请求转发给集群中的各台服务器处理，服务器将处理结果返回给负载均衡器，负载均衡器将处理结果转发给相应的客户端。

2.  接收客户端请求，将请求转发给集群中的各台服务器处理，服务器将处理结果直接返回给相应的客户端。

由于应用的需要，本文采用第1种设计方法。整体设计框架如下图所示：

负载均衡器分成两大模块：

1. 客户端代理，用于接收客户端请求，为客户端选择服务器，将请求转存到服务器代理的请求队列中；将服务器代理上的发送队列中的应答转发给相应的客户端。

2. 服务器代理，用于将请求队列的任务发送给与其对应的服务器，接收服务器的应答放到其上的发送队列。当然接收到应答后可对应答包做需要的处理。

服务器代理设计如下图所示：

请求队列：客户端代理为某个客户请求选定服务器后，将该请求放入选定服务器代理的请求队列中，服务器代理循环扫描自己的请求队列，若有请求则就爱那个该请求取出，并查看处理队列中是否已存在该请求，若无，将该请求的标志性信息存入处理队列中，并该请求发送给服务器。若有，且请求并未超时，则丢弃新到的请求，若之前的请求超时，则将该请求替换处理队列中之前的请求，并将该请求转发给服务器。

处理队列：处理队列用于存放已转发给服务器但未收到相应应答的请求的标志性信息，如客户端MAC地址，请求序列号，请求类型等。当服务器代理收到服务器的应答包时，将应答包中的标志性信息（MAC地址）作为Key将处理队列中存放的请求清除。可以看出，处理队列的主要作用在于控制相同客户端请求的频率，计算发送给服务器且未收到应答的请求数量，从而可以用其做一些负载量及失败率等的计算等。

应答队列：服务器代理接收到服务器的应答包时，将该应答包放入应答队列，客户端代理会循环扫描每个服务器代理的应答队列，如果有应答包，则将应答包转发给相应的客户端。