一、简单的原理描述

   在上一期的博文中我们简单的了解了什么是keepalive和如何实现keepalive + httpd的高可用。我们都知道相对于httpd来说还有更加轻量级的nginx服务能为我们提供网页web能力。并且还能够实现反向代理功能。那么什么是nginx呢?它又具有一些什么样的优势和特性呢?接下来我们就简单的给大家描述一下。


   传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等。这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降。


   在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制,nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构,并大量采用了多路复用及事件通知机制。在nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理,而每个worker可以并行处理数千个的并发连接及请求。


   如果负载以CPU密集型应用为主,如SSL或压缩应用,则worker数应与CPU数相同;如果负载以IO密集型为主,如响应大量内容给客户端,则worker数应该为CPU个数的1.5或2倍。


   Nginx会按需同时运行多个进程:一个主进程(master)和几个工作进程(worker),配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程,并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行,而worker、cache loader和cache manager均应以非特权用户身份运行。

主进程主要完成如下工作:

1. 读取并验正配置信息;

2. 创建、绑定及关闭套接字;

3. 启动、终止及维护worker进程的个数;

4. 无须中止服务而重新配置工作特性;

5. 控制非中断式程序升级,启用新的二进制程序并在需要时回滚至老版本;

6. 重新打开日志文件,实现日志滚动;

7. 编译嵌入式perl脚本;


   这些功能都是站在前人的基础上做出的更加优秀的改进,因此我们在实现简单web应用的时候更加倾向于使用nginx。由此,我们在这里为大家提供一个基于nginx的keepalive高可用平台的搭建过程。拓扑如下:184548404.jpg

二、安装配置nginx

1、安装规划

rhel6.4-32虚拟机两台host1:172.16.12.61、host2:172.16.12.62

2、解决依赖关系

编译安装nginx需要事先需要安装开发包组"Development Tools"和 "Development Libraries"。还需要专门安装pcre-devel包。同时还需要同步两台服务器的时间:

# yum -y gourpinstall "Development Tools" "Development Libraries"
# yum -y install pcre-devel
# ntpdate 172.16.0.1                #172.16.0.1是搭建的时间服务器

3、安装nginx

首先添加用户nginx,实现以之运行nginx服务进程:

# groupadd -r nginx
# useradd -r -g nginx nginx
# tar xf nginx-1.4.1.tar.gz
# cd nginx-1.4.1

接着进行编译及安装:

# ./configure \
  --prefix=/usr \                                           #安装路径
  --sbin-path=/usr/sbin/nginx \                             #二进制命令
  --conf-path=/etc/nginx/nginx.conf \                       #配置文件
  --error-log-path=/var/log/nginx/error.log \               #错误日志
  --http-log-path=/var/log/nginx/access.log \               #访问日志
  --pid-path=/var/run/nginx/nginx.pid  \                    #PID路径
  --lock-path=/var/lock/nginx.lock \                        #锁文件
  --user=nginx \                                            #用户
  --group=nginx \                                           #组
  --with-http_ssl_module \                                  #支持ssl认证模块
  --with-http_flv_module \                                  #支持流媒体
  --with-http_stub_status_module \                          #支持统计页面
  --with-http_gzip_static_module \                          #支持页面压缩
  --http-client-body-temp-path=/var/tmp/nginx/client/ \     #用户请求主体缓存目录
  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \            #代理数据
  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \           #fastcgi
  --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \             #支持python框架
  --http-scgi-temp-path=/var/tmp/nginx/scgi \               #scgi
  --with-pcre                                               #pcre
# make && make install

说明:在安装过程中不同的机器可能有些软件包的安装不同,在编译安装的过程可能会出现不同的报错信息,大家不用担心,依照错误提示安装所需要的软件包即可。如遇到问题可以留言,也可以自行在网上搜索。

4、为nginx提供SysV init脚本:

新建文件/etc/rc.d/init.d/nginx,内容如下:

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
                                                                                                                                                                                                                                                                                    
# Source function library.
. /etc/rc.d/init.d/functions
                                                                                                                                                                                                                                                                                    
# Source networking configuration.
. /etc/sysconfig/network
                                                                                                                                                                                                                                                                                    
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
                                                                                                                                                                                                                                                                                    
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
                                                                                                                                                                                                                                                                                    
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
                                                                                                                                                                                                                                                                                    
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
                                                                                                                                                                                                                                                                                    
lockfile=/var/lock/subsys/nginx
                                                                                                                                                                                                                                                                                    
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
                                                                                                                                                                                                                                                                                    
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
                                                                                                                                                                                                                                                                                    
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
                                                                                                                                                                                                                                                                                    
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
                                                                                                                                                                                                                                                                                    
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
                                                                                                                                                                                                                                                                                    
force_reload() {
    restart
}
                                                                                                                                                                                                                                                                                    
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
                                                                                                                                                                                                                                                                                    
rh_status() {
    status $prog
}
                                                                                                                                                                                                                                                                                    
rh_status_q() {
    rh_status >/dev/null 2>&1
}
                                                                                                                                                                                                                                                                                    
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

而后为此脚本赋予执行权限:

# chmod +x /etc/rc.d/init.d/nginx

添加至服务管理列表,并让其开机自动启动:

# chkconfig --add nginx
# chkconfig nginx on

而后就可以启动服务并测试了:

# service nginx start
# vim /usr/html/index.html
    <h1>master.wangej.com</h1>
# vim /usr/html/index.html
    <h1>slaves.wangej.com</h1>

实例如图:

185241390.jpg

185242840.jpg

三、安装keepalive

安装规划:高可用的流动IP为172.16.12.254

1、安装软件

因为在rhel6.4中已经自带的有keepalive,所以我们这里就直接使用yum安装,请自行配置好yum源(keepalive有依赖关系,如果不能自行解决依赖关系就请使用yum安装)

# yum install keepalived -y

2、修改配置文件

# cd /etc/keepalived/
# vim keepalived.conf

! Configuration File for keepalived
global_defs {
   notification_email {
        root@localhost
   }
   notification_email_from root@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "killall -0 nginx"
    interval 2
    weight -2
    fall 2
    rise 1
}
vrrp_script chk_schedown {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 2
   weight -2
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 61
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass nginxpass
    }
    virtual_ipaddress {
        172.16.12.254/16 dev eth0 label eth0:0
    }
    track_script {
        chk_nginx
        chk_schedown
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

在从服务器上只需修改以下两项即可:

state BACKUP
priority 100

3、提供一个手动停止节点的脚本

# vim notify.sh                                 #创建一个脚本

#!/bin/bash
# Author: WangEJ <ywhwzhang@gmail.com>
# description: An example of notify script
#
ifalias=${2:-eth0:0}
interface=$(echo $ifalias | awk -F: '{print $1}')
vip=$(ip addr show $interface | grep $ifalias | awk '{print $2}')
#contact='ywhwzhang@gmail.com'
contact='root@localhost'
workspace=$(dirname $0)
notify() {
    subject="$ip change to $1"
    body="$ip change to $1 $(date '+%F %H:%M:%S')"
    echo $body | mail -s "$1 transition" $contact
}
case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        /etc/rc.d/init.d/nginx restart
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: $(basename $0) {master|backup|fault}'
        exit 1
    ;;
esac

添加到开机启动的服务列表中:

# chkconfig keepalived on

接下来就可以启动服务,测试服务:

# service keepalived start

185756997.jpg

接下来我们手动关闭主节点,将IP流转到从节点上测试一下:185835972.jpg

同时观察一下两个节点的IP状况:

185921589.jpg

185925161.jpg

四、补充说明

   至此我们基于nginx的keepalive高可用服务就已经搭建完成,如果诸位有什么疑问,或者文章中有什么疏漏的话请留言,大家一起共同讨论,共同进步!