二.简单原理
NGINX_MASTER、NGINX_BACKUP两台服务器均通过keepalived软件把eth0网卡绑上一个虚拟IP(VIP)地址192.168.0.56,此VIP当前由谁承载着服务就绑定在谁的eth0上,当NGINX_MASTER发生故障时,NGINX_BACKUP会通过/etc/keepalived/keepalived.conf文件中设置的心跳时间advert_int 1检查,无法获取NGINX_MASTER正常状态的话,NGINX_BACKUP会瞬间绑定VIP来接替nginx_master的工作,当NGINX_MASTER恢复后keepalived会通过priority参数判断优先权将虚拟VIP地址192.168.0.56重新绑定给NGINX_MASTER的eth0网卡。
使用此方案的优越性
1.实现了可弹性化的架构,在压力增大的时候可以临时添加web服务器添加到这个架构里面去;
2.upstream具有负载均衡能力,可以自动判断后端的机器,并且自动踢出不能正常提供服务的机器;
3.相对于lvs而言,正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性,避免单点故障;
4.用nginx做负载均衡,无需对后端的机器做任何改动。
三.系统环境
两台负载机器安装:centos5.8 +nginx+keepalived,分别命名为: NGINX_MASTER,NGINX_BACKUP。
两台WEB集群机器安装:windows server 2008 R2+IIS7,分别命名为: WEB_1,WEB_2。
NGINX_MASTER:
ip:192.168.0.69(主服务器)
子网掩码:255.255.255.0
默认网关:192.168.0.1
vip:192.168.0.56
LVS_DR_BACKUP:
ip:192.168.0.47(备服务器)
子网掩码:255.255.255.0
默认网关:192.168.0.1
vip:192.168.0.56
WEB_1:
ip:192.168.0.109
子网掩码:255.255.255.0
默认网关:192.168.0.1
WEB_2:
ip:192.168.0.115
子网掩码:255.255.255.0
默认网关:192.168.0.1
四、Nginx的安装配置
分别在NGINX_MASTER、NGINX_BACKUP两台服务器安装nginx
1、关闭SELinux
查看SELinux的状态
getenforce
如果是开启状态,则
vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加
重启系统
reboot
2、开启防火墙80端口
vi /etc/sysconfig/iptables
添加一条规则
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
3、安装编译工具
yum update
yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel gd kernel keyutils patch perl mhash(哈稀函数库)
4 、系统约定
软件源代码包存放位置:/usr/local/src
源码包编译安装位置:/usr/local/软件名字
默认系统就会加载/dev/shm ,它就是所谓的tmpfs,有人说跟ramdisk(虚拟磁盘),但不一样。象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备,并需要一个 mkfs 之类的命令才能真正地使用它,tmpfs 是一个文件系统,而不是块设备;您只是安装它,它就可以使用了。
tmpfs有以下优势:
1)动态文件系统的大小,
2)tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中,读写几乎可以是瞬间的。
3)tmpfs 数据在重新启动之后不会保留,因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载,绑定的操作。
首先在/dev/shm建个tmp文件夹,然后与实际/tmp绑定
mkdir /dev/shm/tmp
chmod 777 /dev/shm/tmp
mount --bind /dev/shm/tmp /tmp
5、下载软件
cd /usr/local/src #进入目录
(1)、下载nginx
wget http://nginx.org/download/nginx-1.3.0.tar.gz
(2)、下载pcre (支持nginx伪静态)
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.30.tar.gz
(3)、下载ngx_cache_purge(清除指定URL缓存)
wget http://labs.frickle.com/files/ngx_cache_purge-1.5.tar.gz
(4)、下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
6、安装pcre
tar zxvf pcre-8.21.tar.gz
cd pcre-8.21
./configure
make
make install
7、安装nginx
groupadd www #添加www组
useradd -g www www -s /bin/false #创建nginx运行账户www并加入到www组,不允许www用户直接登录系统
cd /usr/local/src
tar zxvf ngx_cache_purge-1.5.tar.gz
tar zxvf nginx-1.3.0.tar.gz
cd nginx-1.3.0
./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-openssl=/usr/include/openssl --with-pcre=/usr/local/src/pcre-8.30 --add-module=/usr/local/src/ngx_cache_purge-1.5 --with-http_gzip_static_module
# 注意:--with-pcre指向的是源码包解压的路径,而不是安装的路径,否则编译会报错
make
make install
/usr/local/nginx/sbin/nginx #启动nginx
chown www.www -R /usr/local/nginx/html #设置目录所有者
vi /etc/rc.d/init.d/nginx # 设置nginx开启启动,编辑启动文件添加下面内容
- #!/bin/bash
- # nginx Startup script for the Nginx HTTP Server
- # it is v.1.3.0 version.
- # chkconfig: - 85 15
- # description: Nginx is a high-performance web and proxy server.
- # It has a lot of features, but it's not for everyone.
- # processname: nginx
- # pidfile: /var/run/nginx.pid
- # config: /usr/local/nginx/conf/nginx.conf
- nginxd=/usr/local/nginx/sbin/nginx
- nginx_config=/usr/local/nginx/conf/nginx.conf
- nginx_pid=/usr/local/nginx/logs/nginx.pid
- RETVAL=0
- prog="nginx"
- # Source function library.
- . /etc/rc.d/init.d/functions
- # Source networking configuration.
- . /etc/sysconfig/network
- # Check that networking is up.
- [ ${NETWORKING} = "no" ] && exit 0
- [ -x $nginxd ] || exit 0
- # Start nginx daemons functions.
- start() {
- if [ -e $nginx_pid ];then
- echo "nginx already running...."
- exit 1
- fi
- echo -n $"Starting $prog: "
- daemon $nginxd -c ${nginx_config}
- RETVAL=$?
- echo
- [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx
- return $RETVAL
- }
- # Stop nginx daemons functions.
- stop() {
- echo -n $"Stopping $prog: "
- killproc $nginxd
- RETVAL=$?
- echo
- [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /usr/local/nginx/logs/nginx.pid
- }
- reload() {
- echo -n $"Reloading $prog: "
- #kill -HUP `cat ${nginx_pid}`
- killproc $nginxd -HUP
- RETVAL=$?
- echo
- }
- # See how we were called.
- case "$1" in
- start)
- start
- ;;
- stop)
- stop
- ;;
- reload)
- reload
- ;;
- restart)
- stop
- start
- ;;
- status)
- status $prog
- RETVAL=$?
- ;;
- *)
- echo $"Usage: $prog {start|stop|restart|reload|status|help}"
- exit 1
- esac
- exit $RETVAL
chmod +x /etc/rc.d/init.d/nginx # 赋予执行权限
chkconfig nginx on #设置开机启动
service nginx stop #关闭nginx
8、配置nginx
将nginx初始配置文件备份,我们要重新创建配置文件
mv /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.bak
vi /usr/local/nginx/conf/nginx.conf
- user www www;
- worker_processes 4; # 工作进程数,为CPU的核心数或者两倍
- error_log logs/error.log crit; # debug|info|notice|warn|error|crit
- pid logs/nginx.pid;
- events {
- use epoll; #Linux最常用支持大并发的事件触发机制
- worker_connections 65535;
- }
- http {
- include mime.types; #设定mime类型,类型由mime.type文件定义
- default_type application/octet-stream;
- log_format main '$remote_addr - $remote_user [$time_local] "$request" '
- '$status $body_bytes_sent "$http_referer" '
- '"$http_user_agent" "$http_x_forwarded_for"';
- access_log logs/access.log main;
- #设定请求缓冲
- server_names_hash_bucket_size 256; #增加,原为128
- client_header_buffer_size 256k; #增加,原为32k
- large_client_header_buffers 4 256k; #增加,原为32k
- #size limits
- client_max_body_size 50m; #允许客户端请求的最大的单个文件字节数
- client_header_timeout 3m;
- client_body_timeout 3m;
- send_timeout 3m;
- sendfile on;
- tcp_nopush on;
- keepalive_timeout 120;
- tcp_nodelay on;
- server_tokens off; #不显示nginx版本信息
- limit_conn_zone $binary_remote_addr zone=perip:10m; #添加limit_zone,限制同一IP并发数
- #fastcgi_intercept_errors on; #开启错误页面跳转
- include gzip.conf; #压缩配置文件
- include proxy.conf; #proxy_cache参数配置文件
- include vhost/*.conf; #nginx虚拟主机包含文件目录
- include mysvrhost.conf; #后端WEB服务器列表文件
- }
cd /usr/local/nginx/conf/
mkdir vhost
vi proxy.conf
- proxy_temp_path /tmp/proxy_temp;
- proxy_cache_path /tmp/proxy_cache levels=1:2 keys_zone=cache_one:500m inactive=1d max_size=3g;
- client_body_buffer_size 512k; #原为512k
- proxy_connect_timeout 50; #代理连接超时
- proxy_read_timeout 600; #代理发送超时
- proxy_send_timeout 600; #代理接收超时
- proxy_buffer_size 128k; #代理缓冲大小,原为32k
- proxy_buffers 16 256k; #代理缓冲,原为4 64k
- proxy_busy_buffers_size 512k; #高负荷下缓冲大小,原为128k
- proxy_temp_file_write_size 1024m; #proxy缓存临时文件的大小原为128k
- #proxy_ignore_client_abort on; #不允许代理端主动关闭连接
- proxy_next_upstream error timeout invalid_header http_500 http_503 http_404 http_502 http_504;
vi mysvrhost.conf
- upstream cn100 {
- ip_hash; #会话保持
- server 192.168.0.115 max_fails=1 fail_timeout=60s;
- server 192.168.0.109 max_fails=1 fail_timeout=60s;
- }
vi gzip.conf
- #网页GZIP压缩设置
- #2012.4.2
- #可通过http://tool.chinaz.com/Gzips/检测压缩情况
- #
- #启动预压缩功能,对所有类型的文件都有效
- gzip_static on; #开启nginx_static后,对于任何文件都会先查找是否有对应的gz文件
- #找不到预压缩文件,进行动态压缩
- gzip on;
- gzip_min_length 1k; #设置最小的压缩值,单位为bytes.超过设置的min_length的值会进行压缩,小于的不压缩.
- gzip_comp_level 3; #压缩等级设置,1-9,1是最小压缩,速度也是最快的;9刚好相反,最大的压缩,速度是最慢的,消耗的CPU资源也多
- gzip_buffers 16 64k; #设置系统的缓存大小,以存储GZIP压缩结果的数据流,它可以避免nginx频烦向系统申请压缩空间大小
- gzip_types text/plain application/x-javascript text/css text/javascript;
- #关于gzip_types,如果你想让图片也开启gzip压缩,那么用以下这段吧:
- #gzip_types text/plain application/x-javascript text/css text/javascript application/x-httpd-php image/jpeg image/gif image/png;
- #gzip公共配置
- gzip_http_version 1.1; #识别http的协议版本(1.0/1.1)
- gzip_proxied any; #设置使用代理时是否进行压缩,默认是off的
- gzip_vary on; #和http头有关系,加个vary头,代理判断是否需要压缩
- gzip_disable "MSIE [1-6]."; #禁用IE6的gzip压缩
vi vhost/cn100.conf
- server {
- listen 80;
- server_name localhost;
- #charset GB2312;
- location /
- {
- proxy_redirect off;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- proxy_pass http://cn100;
- }
- # 查看nginx的并发连接数配置
- location /NginxStatus
- {
- stub_status on;
- access_log off;
- auth_basic "NginxStatus";
- }
- access_log off;
- error_page 404 /404.html;
- error_page 500 502 503 504 /404.html;
- location = /404.html {
- root html;
- }
- limit_conn perip 50; #同一ip并发数为50,超过会返回503
- }
9、设置proxy_cache参数配置
cd /tmp #进入目录
mkdir -p /tmp/proxy_temp #proxy_temp_dir与proxy_cache_dir这两个文件夹必须在同一个分区
mkdir -p /tmp/proxy_cache #proxy_cache_dir与proxy_temp_dir这两个文件夹必须在同一个分区
chown www.www -R /tmp/proxy_temp /tmp/proxy_cache #设置目录所有者
chmod -R 777 /tmp/proxy_temp /tmp/proxy_cache #设置目录权限
附1:Nginx优化设置基本的TCP配置
vi /etc/sysctl.conf
优化内核参数
- net.ipv4.ip_forward = 0
- net.ipv4.conf.default.rp_filter = 1
- net.ipv4.conf.default.accept_source_route = 0
- kernel.sysrq = 0
- kernel.core_uses_pid = 1
- net.ipv4.tcp_syncookies = 1
- kernel.msgmnb = 65536
- kernel.msgmax = 65536
- kernel.shmmax = 68719476736
- kernel.shmall = 4294967296
- net.ipv4.tcp_max_tw_buckets = 6000
- net.ipv4.tcp_sack = 1
- net.ipv4.tcp_window_scaling = 1
- net.ipv4.tcp_rmem = 4096 87380 4194304
- net.ipv4.tcp_wmem = 4096 16384 4194304
- net.core.wmem_default = 8388608
- net.core.rmem_default = 8388608
- net.core.rmem_max = 16777216
- net.core.wmem_max = 16777216
- net.core.netdev_max_backlog = 262144
- net.core.somaxconn = 262144
- net.ipv4.tcp_max_orphans = 3276800
- net.ipv4.tcp_max_syn_backlog = 262144
- net.ipv4.tcp_timestamps = 0
- net.ipv4.tcp_synack_retries = 1
- net.ipv4.tcp_syn_retries = 1
- net.ipv4.tcp_tw_recycle = 1
- net.ipv4.tcp_tw_reuse = 1
- net.ipv4.tcp_mem = 94500000 915000000 927000000
- net.ipv4.tcp_fin_timeout = 1
- net.ipv4.tcp_keepalive_time = 30
- net.ipv4.ip_local_port_range = 1024 65000 允许系统打开的端口范围
使配置立即生效:
/sbin/sysctl -p
附2:编写每天定时切割Nginx日志的脚本
1、创建脚本/usr/local/nginx/cut_nginx_log.sh
vi /usr/local/nginx/cut_nginx_log.sh
- #/bin/bash
- savepath_log='/usr/local/nginx/logs'
- nglogs='/usr/local/nginx/logs'
- mkdir -p $savepath_log/$(date +%Y)/$(date +%m)
- mv $nglogs/access.log $savepath_log/$(date +%Y)/$(date +%m)/access.$(date +%Y%m%d).log
- mv $nglogs/error.log $savepath_log/$(date +%Y)/$(date +%m)/error.$(date +%Y%m%d).log
- kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
chmod +x /usr/local/nginx/cut_nginx_log.sh
2、设置crontab,每天凌晨00:00切割nginx访问日志
crontab –e
输入以下内容:
00 00 * * * /bin/bash /usr/local/nginx/cut_nginx_log.sh
附3:关闭系统无关的服务
接下来关掉一些不必要的系统服务
chkconfig bluetooth off
chkconfig firstboot off
chkconfig cups off
chkconfig ip6tables off
chkconfig isdn off
chkconfig kudzu off
chkconfig sendmail off
chkconfig smartd off
chkconfig autofs off
附4:关于服务器间的时间同步
在时间同步服务器上安装ntp
yum install ntp
设置同步
crontab –e
在最后添加
1 5 * * * /usr/sbin/ntpdate time.nist.gov >> /var/log/upClock.log
附5. 查看nginx的并发连接数 在浏览器中打开http://<ipaddrss>/NginxStatus 以上解析:Active connections:当前 Nginx 正处理的活动连接数。server accepts handled requests :总共处理了15个连接 , 成功创建 15 次握手,总共处理了76个请求。Reading:nginx 读取到客户端的 Header 信息数。Writing:nginx 返回给客户端的 Header 信息数。Waiting :开启 keep-alive 的情况下, Nginx 已经处理完正在等候下一个请求指令的停留连接。 附6. 开启nginx缓存功能(2012年5月30日新增)proxy.conf文件前面已经配置过了,这里无需再配置,直接配置cn100.conf文件即可。vi /usr/local/nginx/conf/vhost/cn100.conf以上配置文件红色部分为新增内容。通过浏览器访问一下网站,进入到/tmp/proxy_cache目录下,查看是否生成缓存文件。 清除URL缓存方法: 假设你的URL为:http://192.168.0.56/images/apa.jpg,浏览器输入:http://192.168.0.56/purge/images/apa.jpg,就可以清除该URL的缓存。 五、安装配置keepalived 1.安装keepalived(HA):$ tar zxvf keepalived-1.2.2.tar.gz $ cd keepalived-1.2.2 $ ./configure Keepalived configuration------------------------Keepalived version : 1.2.2 Compiler : gcc Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd Extra Lib : -lpopt -lssl -lcrypto Use IPVS Framework : No IPVS sync daemon support : No Use VRRP Framework : Yes Use Debug flags : No 注:若IPVS处为No,不用担心,是没有装ipvsadm的原因,我们是用nginx做负载,所以这里只需要用到VRRP。make make install 2.将keepalived 以服务方式启动cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig mkdir /etc/keepalived cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ cp /usr/local/sbin/keepalived /usr/sbin chkconfig keepalived on 3.修改keepalived配置文件vi /etc/keepalived/keepalived.conf
- server {
- listen 80;
- server_name localhost;
- #charset GB2312;
- location /
- {
- proxy_pass http://cn100;
- proxy_redirect off;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- proxy_cache cache_one;
- proxy_cache_valid 200 302 304 1h; #200、302、304错误状态码保存1小时
- proxy_cache_valid 301 1d; #301错误状态码保存1天
- proxy_cache_valid any 1m; #其余的保存1分钟
- #以域名、URI、参数组合成Web缓存的Key值,存储缓存内容到二级缓存目录内
- proxy_cache_key $host$uri$is_args$args;
- expires 30d; #设置失效时间为30天
- }
- # 设置手动清除URL缓存
- location ~ /purge(/.*)
- {
- # 设置只允许指定的IP或IP段才可以清除URL缓存
- allow 127.0.0.1;
- allow 192.168.0.0/16;
- deny all;
- proxy_cache_purge cache_one $host$1$is_args$args;
- }
- location /NginxStatus
- {
- stub_status on;
- access_log off;
- auth_basic "NginxStatus";
- allow 192.168.0.0/16;
- deny all;
- }
- access_log off;
- error_page 404 /404.html;
- error_page 500 502 503 504 /404.html;
- location = /404.html {
- root html;
- }
- limit_conn ctohome_zone 50; #同一ip并发数为50,超过会返回503
- }
4.添加检查nginx状态的脚本,当nginx停止时,会自动将nginx启动vi /etc/keepalived/nginx_pid.sh
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- servererror@cn100.com
- }
- notification_email_from Alexandre.Cassen@firewall.loc
- smtp_server mail.cn100.com
- # smtp_connect_timeout 30
- router_id LVS_DEVEL
- }
- vrrp_script chk_http_port {
- script "/etc/keepalived/nginx_pid.sh" # 检查nginx状态的脚本
- interval 2
- weight 3
- }
- vrrp_instance VI_1 {
- state MASTER
- interface eth0
- virtual_router_id 51
- priority 100
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.0.56
- # 192.168.200.17
- # 192.168.200.18
- }
- track_script {
- chk_http_port
- }
- }
chmod +x /etc/keepalived/nginx_pid.sh server keepalived start 5.添加防火墙协议VRRP(Virtual Router Redundancy Proto col,虚拟路由器冗余协议) 在iptables配置当中增加:-I INPUT -s 192.168.0.47 -d 224.0.0.18 -j ACCEPT # 如果是backup服务器,这里改成master服务器的IP六、测试 1.当NGINX_MASTER、NGINX_BACKUP服务器nginx均正常工作时在NGINX_MASTER上: 在NGINX_BACKUP上: master服务器eth0网卡正常绑定VIP,而backup却没有绑定,通过浏览器可正常访问网站正常。 2.关闭NGINX_MASTER的keepalived和nginx服务,NGINX_BACKUP正常工作时在NGINX_MASTER上:
在NGINX_BACKUP上:
NGINX_BACKUP的eth0已瞬间绑定VIP,通过浏览器访问网站正常。
3.将NGINX_MASTER的keepalived和nginx服务启动,关闭NGINX_BACKUP的keepalived和nginx服务
NGINX_MASTER的eth0网卡重新绑定VIP,通过浏览器访问网站正常。
4.关闭WEB_1服务器,通过浏览器访问网站正常。
转载请注明地址:http://www.linuxso.com/fuzai/31123.html