搭建高可用性应用环境的一些经验分享（部分原创）

搭建高可用性应用环境的一些经验分享（部分原创）

服务器系统：windows(应用层服务器) linxu(控制层服务器)
数据库：Mysql(Oracle)
前后端部署：tomcat

容错防灾策略：
一般情况下系统宕机的情况大致可以分为：

1. 服务器出现问题
2. 应用环境出现问题
3. 网络出现问题

针对不同情况的解决系统宕机策略：
最常规的解决策略应该就是主备机切换策略，其核心思想就是多点服务替代单点服务。
实现该策略可以通过‘nginx+keepalived’搭建一个主备服务器的ip漂移策略来实现，单点服务器对应多点应用服务器集群，从而实现通过nginx来检测tomcat集群以及数据库自生的集群架构中的运行情况。

实现ip飘逸的大致工作原理：
当client发出请求时，该请求会发送给由高可用性软件keeplived提供的vip访问到nginx服务器，包括主机和备机，client只需要访问vip而不用去访问nginx服务器上的真实ip。
  在nginx主机和nginx备机的都处于正常状态下，vip实际上会绑定nginx主机的真实ip，虽然vip也绑定了nginx备机上的真实ip，但是不会用，可以理解为这是一个“假的绑定”。
  当nginx主机出现故障时。nginx备机上运行着的keepalived会检测到nginx主机宕机了，这时，nginx备机运行着的kaapalived软件主要会做以下几件事情：
1.把vip绑定到nginx备机上的真实ip（俗称ip漂移）。
2.接管nginx主机的工作（从backup切换成master）
3.定时检测nginx主机是否恢复
当nginx主机恢复时，一旦nginx备机上运行着的keepalived检测到nginx主机恢复，主要会做以下几件事情：
1.让出位置（从master切换回backup）
2.删除本机的vip（当nginx主机出故障时又会添加回来）
3.发送心跳检测，定时检测nginx状态
正常状态

client直接访问vip就行了，然后根据client访问的请求（vip）直接发送给nginx主服务器，由nginx主服务器提供服务，把请求转发给tomcat服务器集群（这里client不需要访问nginx主服务器的真实ip，因为vip已经绑定了nginx主服务器的真实ip，也就是说，不管是访问vip，还是真实ip其实都是一样的）。
  另外从这里可以看出，nginx备机绑定的vip并没有启用（“假绑定”），那么nginx备机既然不处理请求，不干活，那在干嘛？其实nginx备机上运行的keepalived一直在发送心跳检测nginx主机是否还活着，同时nginx主机上的keepalived一直在发送VRRP多播包告知nginx备机自己的状态。
  
当主服务器宕机时

当nginx主机发生故障时，这意味着nginx主机上的keepalived也就不会发送VRRP多播包了，当nginx备机上运行着的keepalived没有收到VRRP包就会检测nginx主机挂了，然后立刻接管nginx主机的工作（从backup切换成master），并把vip绑定到自己身上（即ip漂移），同时发送心跳检测nginx主机是否恢复，下次client请求的时候，直接根据vip绑定的真实ip把请求发送给nginx备机，由nginx备机向client提供服务，把请求转发给tomcat服务器。

当主服务器回复时

当nginx主机恢复时，nginx主机上运行的keepalived会发送VRRP多播包，然后nginx备机上运行着的keepalived收到VRRP包时说明nginx主机已恢复，就会让出位置（从master切换回backup）并删除自己的vip（ip漂回来了），同时继续发送心跳检测nginx主机的状态，那么nginx主机就可以继续为client提供服务转发请求了。

	VIP（Director Virtual IP）的概念：

其英文直译为‘路由虚拟ip’， 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP

需要注意的是，nginx自带的检测集群后端存活的机制实际使用效果不是很理想，其根本原因在于延迟性高，自带功能模块不理想，最好是用淘宝那边开源的一个检测机制模块，编译时候加上这个模块会好些。
淘宝根据nginx-1.6.2的源代码开发了一套兼容nginx所有特性的一个开源的Web服务器Tengine。此web服务器具有比nginx更加强大的功能模块以及更加稳定的高并发兼容性。其中‘ngx_http_upstream_check_module’这一模块更是弥补了nginx上面对于服务器集群运行状况检查机制的不完善，以下面几张图为例：

上图为在nginx环境下依据自身所带的status模块对于应用服务器集群的健康检查视图，图中只显示了其相应的连接次数以及集群服务器给予的相应状况，可以说是相当的简陋。
上图为在tengine环境下通过其自带的‘ngx_http_upstream_check_module’模块对于应用服务器集群的健康检查视图，与nginx自带的模块两者对比优劣相当明显。

此图为当应用服务器集群的一个tomcat挂掉之后的视图，标红部分即为挂掉的tomcat服务器的信息。

下面做一个提高容错防灾这一提案做一个总结：
本次策略的核心思想是多点服务代替单点服务。
通过nginx（tengine）对多点服务器（多台tomcat）做负载均衡集群策略，并且监视集群当中所有服务器的运行健康状况（ngx_http_upstream_check_module），此策略可以很好地实现以下两点：
1.集群当中有一台或者多台tomcat服务器宕机不会影响到客户端的正常访问（依据负载均衡策略效果有一定差异）。
2.通过tengine强大的健康监测模块可以快速地定位出先问题的应用服务器。
以上是web服务器对于应用集群服务器的容错防灾。对于web服务器自身而言，可以通过nginx（tengine）+keepalived的运行框架组合实现vip漂移功能，此功能即可以实现当主服务器宕机不影响客户端访问（主服务器宕机的同时vip会漂移到备机）的这一容错需求。也能通过keepalived的心跳检测功能进行对于主服务器的vip漂回功能。

ps1:本片文章是笔者阅览了网上大神分享的此略再结合了一些自己在搭建这个架构的时候遇见的一些问题的心得分享。认知比较浅薄，如对各位有所帮助在下深感荣幸。

ps2:tengine的PC版本部署包，在下在网上面淘了一个，已经都打完了所有的插件，启动就能用。如果有需要的朋友可以私密我。