应用服务器集群的伸缩性设计

应用服务器集群的伸缩性设计原则：应用服务器应该设计成无状态的，即应用服务器不存储请求上下文信息，每次用户请求都可以发送到集群任意一台服务器上去处理。而一般使用负责均衡实现应用服务器的伸缩性。

实现负载均衡的基础技术一般有以下几种：

1、HTTP重定向负载均衡

这种技术主要是通过HTTP重定向负载均衡服务器根据用户的HTTP请求计算一台真是的WEB服务器地址，并将该WEB服务器地址写入HTTP重定向响应中返回给用户浏览器。它的优点是比较简单，缺点是浏览器需要两次请求服务器才能完成一次访问，性能较差。

2、 DNS域名解析负载均衡

这是利用DNS处理域名解析请求的同时进行负载均衡的一种方案。它的优点是将负载均衡的工作转交给DNS，省掉了网站管理维护负载均衡服务器的麻烦，同时许多DNS还支持基于地理位置的域名解析，即会将域名解析成距离用户地理最近的一个服务器地址，这样还可以加快用户访问速度，改善性能。缺点事目前的DNS是多级解析，每一级解析都可能缓存A记录，当下线某台服务器后，即使修改了DNS的A记录，要使其生效也需要较长时间，这段时间，DNS依然会将域名解析到已经下线的服务器，导致用户访问失败；而且DNS负载均衡的控制权在域名服务商那里，网站无法对其做更多改善和更强大的管理。

3、反向代理负载均衡

在部署位置上，多一层反向代理服务器，用户的请求先经过反向代理服务器，反向代理服务器根据负载均衡算法将请求转发到不同的WEB服务器上。由于WEB服务器不直接对外提供访问，因此WEB服务器不需要使用外部IP地址，而反向代理服务器则需要配置双网卡和内部外部两套IP地址。其优点是和反向代理服务器功能集成在一起，部署简单。缺点是反向代理服务器是所有请求和响应的中转站，其性能可能会成为瓶颈。

4、 IP负载均衡

用户请求数据包到负载均衡服务器114.100.80.10，负载均衡服务器在操作系统内核进程获取网络数据包，根据负载均衡算法计算得到一台真实WEB服务器10.0.0.1，然后将数据目的IP地址修改为10.0.0.1，不需要通过用户进程处理。真实的WEB应用服务器处理完成后，响应数据包回到负载均衡服务器，负载均衡服务器再将数据包源地址修改为自身IP地址（114.100.80.10）发送给用户浏览器。IP负载均衡在内核进程内完成数据分发，较反向代理负载均衡有更好的处理性能。但是由于所有请求响应都需要经过负载均衡服务器，集群的最大响应数据吞吐量不得不受制于负载均衡服务器网卡带宽。

5、数据链路层负载均衡

数据链路层负载均衡是指在通信协议的数据链路层修改mac地址进行负载均衡。这种数据传输方式又称作三角传输模式，负载均衡数据分发过程中不修改IP地址，只修改目的mac地址，通过配置真实物理服务器集群所有机器IP和负载均衡服务器IP地址一致，从而达到不修改数据包的源地址和目的地址就可以进行数据分发的目的，由于实际处理请求的真实物理服务器IP和数据请求目的IP一致，不需要通过负载均衡服务器进行地址转换，可将响应数据包直接返回给用户浏览器，避免负载均衡服务器网卡带宽成为瓶颈。
PS:在Linux平台上最好的链路层负载均衡开源产品是LVS。

负载均衡服务器的实现分为两部分：1是根据负载均衡算法和WEB服务器列表计算得到集群中一台WEB服务器的地址；2是将请求数据分发到该地址对应的WEB服务器上。

具体的负载均衡算法有以下几种：

1、轮询

所有请求被一次分发到每台应用服务器上，即每台服务器需要处理的请求数目都相同，适合于所有服务器硬件都相同的场景。

2、加权轮询

在轮询的基础上，按照配置的权重将请求分发到每个服务器，高性能的服务器能分配更多的请求

3、随机

请求被随机分配到各个应用服务器。

4、最少连接

记录每个应用服务器正在处理的连接数，将新的请求分发到最少连接的服务器上。

5、源地址散列

根据请求来源的IP地址进行Hash计算，得到应用服务器，这样来自同一IP地址的请求总在同一个服务器上处理，该请求的上下文信息可以存储在这台服务器上，在一个会话周期内重复使用。