keepalived+nginx负载均衡 实现高可用集群

集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时，我们会去增加一台服务器分担原有服务器的访问及存储压力。通过负载均衡调度服务器，将来自浏览器的访问请求分发到应用服务器集群中的任何一台服务器上，如果有更多的用户，就在集群中加入更多的应用服务器，使应用服务器的负载压力不再成为整个网站的瓶颈。

安装keepalived

首先两台服务器启动tomcat，并且整一个页面用来区分不同服务器

nginx.conf内容如下：

user  root;            #运行用户
worker_processes  1;        #启动进程,通常设置成和cpu的数量相等

#全局错误日志及PID文件
error_log  /usr/local/nginx/logs/error.log;
error_log  /usr/local/nginx/logs/error.log  notice;
error_log  /usr/local/nginx/logs/error.log  info;
pid        /usr/local/nginx/logs/nginx.pid;

# 工作模式及连接数上线
events 
{
    use epoll;            #epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能

    worker_connections  1024;    #单个后台worker process进程的最大并发链接数
}

#设定http服务器,利用它的反向代理功能提供负载均衡支持
http 
{
    include       mime.types;
    default_type  application/octet-stream;

    #设定请求缓冲
    server_names_hash_bucket_size  128;
    client_header_buffer_size   32K;
    large_client_header_buffers  4 32k;
    # client_max_body_size   8m;
    
    #sendfile 指令指定 nginx 是否调用 sendfile 函数（zero copy 方式）来输出文件，对于普通应用，
    #必须设为 on,如果用来进行下载等应用磁盘IO重负载应用，可设置为 off，以平衡磁盘与网络I/O处理速度，降低系统的uptime.
    sendfile        on;
    tcp_nopush     on;
    tcp_nodelay    on;

    #连接超时时间
    keepalive_timeout  65;

    #开启gzip压缩，降低传输流量
    gzip  on;
    gzip_min_length    1k;
    gzip_buffers    4 16k;
    gzip_http_version  1.1;
    gzip_comp_level  2;
    gzip_types  text/plain application/x-javascript text/css  application/xml;
    gzip_vary on;

   #gzip  on;
    #负载均衡 
    
    upstream myserver{
	#ip_hash
		server 192.168.152.130:8080;
        server 192.168.152.132:8080;
	#fair
    }

    server 
    {
        listen       9001;        #监听端口    
        server_name  192.168.152.130;
    
   #负载均衡
	location / {
	     root   html;
	     proxy_pass http://myserver;
	     index  index.html index.htm;	    	
	}
    
    #所有的jsp页面均由tomcat处理
    location ~ \.(jsp|jspx|dp)?$
    {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://tomcat_pool;    #转向tomcat处理
    }
    
    #所有的静态文件直接读取不经过tomcat,nginx自己处理
    location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$ 
    { 
        expires  30d;
    }
    location ~ .*\.(js|css)?$
    {
       expires  1h;
    }

    #定义错误提示页面
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
}

主从nginx的配置文件完全一样。

配置好后，启动nginx，路径要写自己的

cd /usr/local/nginx/sbin

./nginx
　　

keepalived实现nginx高可用(HA)
keepalived作用其实在第一张图中已经有所体现，主要起到两个作用：实现VIP到本地ip的映射； 以及检测nginx状态。

global_defs {
    notification_email {
       lihhope@foxmail.com               #异常信息发送邮箱
    }
    notification_email_from lihhope@foxmail.com      #异常信息发送邮箱地址
    smtp_server smtp.hysec.com
    smtp_connection_timeout 30
    router_id nginx_master        # 设置nginx master的id，在一个网络应该是唯一的
}
vrrp_script check_nginx {
    script "/usr/local/check_nginx.sh"    #最后手动执行下此脚本，以确保此脚本能够正常执行
    interval 2                          #（检测脚本执行的间隔，单位是秒）
    weight 2
}
vrrp_instance VI_1 {
    state MASTER            # 指定keepalived的角色，MASTER为主，BACKUP为备
    interface ens33           # 当前进行vrrp通讯的网络接口卡(当前centos的网卡)注意名字
    virtual_router_id 66        # 虚拟路由编号，主从要一直
    priority 100            # 优先级，数值越大，获取处理请求的优先级越高
    advert_int 1            # 检查间隔，默认为1s(vrrp组播周期秒数)
    authentication {
        auth_type pass
        auth_pass 123456
    }
    track_script {
    	check_nginx           #（调用检测脚本）
    }
    virtual_ipaddress {
        192.168.152.520            # 定义虚拟ip(VIP)，可多设，每行一个
    }
}

注意网卡名字

backup上的keepalived.conf内容如下：

global_defs {
    notification_email {
       lihhope@foxmail.com               #异常信息发送邮箱
    }
    notification_email_from lihhope@foxmail.com      #异常信息发送邮箱地址
    smtp_server smtp.hysec.com
    smtp_connection_timeout 30
    router_id nginx_backup        # 设置nginx master的id，在一个网络应该是唯一的
}
vrrp_script check_nginx {
    script "/usr/local/check_nginx.sh"    #最后手动执行下此脚本，以确保此脚本能够正常执行
    interval 2                          #（检测脚本执行的间隔，单位是秒）
    weight 2
}
vrrp_instance VI_1 {
    state BACKUP		# 指定keepalived的角色，MASTER为主，BACKUP为备
    interface ens33           # 当前进行vrrp通讯的网络接口卡(当前centos的网卡)注意名字
    virtual_router_id 66        # 虚拟路由编号，主从要一直
    priority 100            # 优先级，数值越大，获取处理请求的优先级越高
    advert_int 1            # 检查间隔，默认为1s(vrrp组播周期秒数)
    authentication {
        auth_type pass
        auth_pass 123456
    }
    track_script {
    	check_nginx           #（调用检测脚本）
    }
    virtual_ipaddress {
        192.168.152.520            # 定义虚拟ip(VIP)，可多设，每行一个
    }
}

nginx检测脚本check_nginx.sh内容如下：

#!/bin/bash
A=`ps -C nginx --no-header |wc -l`        
if [ $A -eq 0 ];then                            
    /usr/local/nginx/sbin/nginx                #重启nginx
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then    #nginx重启失败
        exit 1
    else
        exit 0
    fi
else
    exit 0
fi

启动keepalived

systemctl start keepalived.service 启动
systemctl stop keepalived.service停止

　
　关掉130机器上的keepalived关掉nginx,虚拟ip飘到132机器上。