一 常见的web集群调度器
- 目前常见的web群集调度器分为软件和硬件
- 软件通常使用开源的LVS、Haproxy、Nginx
- 硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等
二 Haproxy应用分析
- LVS在企业应用中抗负载能力很强,但存在不足
LVS不支持正则处理,不能实现动静分离
对于大型网站,LVS的实施配置复杂,维护成本相对较高 - Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
适用于负载大的web站点
运行在硬件上可支持数以万计的并发连接的连接请求
三 Haproxy调度算法
3.1 Haproxy支持多种调度算法最常用的有三种
- RR (Round Robin)
RR算法是最简单最常用的一种算法,即轮询调度 - 理解举例
有三个节点A、B、C
第一个用户访问会被指派到节点A
第二个用户访问会被指派到节点B
第三个用户访问会被指派到节点C
第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡 - LC(Least Connections)
最小连接数算法,根据后端的节点连接数大小动态分配前端请求 - 理解举例
有三个节点A、B、C 各节点的连接数分别为A:4、B:5 、C:6
第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、C:6
第二个用户请求会继续分配到A上,连接数变为A:6、B:、5C:6;再有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端
由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况
此算法相比较rr算法有很大改进,是目前用到比较多的一种算法 - SH(Source Hashing)
基于来源访问调度算法,用于一些Session会话记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度 - 理解举例
有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B
当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B只要负载均衡调度器不重启,第一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实际集群的调度
此调度算法好处是实现会话保持,但某些IP访问量非常大时会引起负载均衡,部分节点访问量超大,影响业务使用
四 Haproxy安装与启动
4.1 在负载均衡器上安装 Haproxy
4.1.1 安装步骤
- 安装基础软件包
- 编译安装 haproxy
- 要注意操作系统版本,是 32 位系统还是 64 位
4.1.2 建立 Haproxy 的配置文件
-创建配置文件目录/ etc / haproxy
-将源码包提供的配置文件样例 haproxy.cfg 复制到配置文件目录中
4.2 Haproxy配置文件详解
4.2.1 到Haproxy配置文件通常分为三个部分
- global:为全局配置
- defaults:为默认配置
- listen:为应用组件配置
4.2.2 global配置参数
4.2.2 Haproxy配置文件详解1
- 到defaults配置顶配置默认参数,一般会被应用组件继承
- 如果应用组件中没有特别声明,将按默认配置参数设置
.log global:定义日志为g|oba|配置中的日志定义
.mode http:模式为http
.option httplog:采用http日志格式记录日志
.retries 3:检查节点服务器失败连续达到三次则认为节点不可用
.maxconn 2000:最大连接数
.contimeout 5000:连接超时时间
.clitimeout 50000:客户端超时时间
.srvtimeout 50000:服务器超时时间
4.2.3 Haproxy配置文件详解2
- isten配置顶目一般为配置应用模块参数
.listen appli4-backup 0.0.0.0:10004:定义一个appli4-backup的应用
.option httpchk /index.html:检查月务器的index.htm|文件
.option persist:强制将请求发送到已经down掉的服务器
.balance roundrobin:负载均衡调度算法使用轮询算法
.server inst1 192.168.114.56:80 check inter 2000 fall 3:定义在线节点
.server inst2 192.168.114.56:81 check inter 2000 fall 3 backup:定义备份节点
4.3 配置与测试1
- 到根据实际的案例修改相应参数
.listen webcluster 0.0.0.0:80
.option httpchk GET /index.html
.balance roundrobin
.serverinstl192.168.10.61:80 check inter 2000 fall 3
.serverinst2192.168.10.62:80 check inter 2000 fall 3 - 到创建自启动脚本,井启动Haproxy服务
4.4 配置与测试2
- 测试Haproxy集群
.测试高性能
·可在两个不同的浏览器中分另刂访问两个测试网站,正常情况下应该出
现两个网站的测试页面 - 高可用性
·将其中一台Nginx服务器停用,在客户端浏览器中访问Haproxy,正
常情况下应出现另外一台Nginx服务器的网站测试页面
4.5 Haproxya志管理
- 到默认是输出到系统的syslog中,生产环境中一般单独定义
- 定义的方法步骤
1)修改Haproxy配置文件中关于日志配置的选项,加入配置
log /dev /log IocaI0 info
og /dev /log IocaI0 notice
2)修改rsyslog配置,将Haproxy相关的配置独立定义到haproxy.conf,并到/etc/rsyslog.d/下
3)保存配置文件并重启rsyslog服务,完成rsyslog配置 - 访问Haproxy集群测试网页井查看日志信息
4.6 Haproxy参数优化1
- 随着企业网站负载增加,haproxy参数优化相当重要
.maxconn:最大连接数,根据应用实际情况进行调整,推荐使用10 240
.daemon:守护进程模式,Haproxy可以使用非守护进程模式启动,建议使用守护进程模式启动
.nbproc:负载均衡的并发进程数,建议与当前服务器CPU核数相等或为其2倍
retries:重试次数,主要用于对集群节点的检查,如果节点多,且并发量大,设置为2次或3次
4.7 Haproxy参数优化2
- option http-server-close:主动关闭http请求选项,建议在生产环境中使用此选项
- timeout http-keep-alive:长连接超时时间,设置长连接超时时间,可以设置为10s
- timeout http-request:http请求超时时间,建议将此时间设置为5~10s,增加http连接释放速度
- timeout client:客户端超时时间,如果访问量过大,节点响应慢,可以将此时间设置短一些,建议设置为1min左右就可以了
五 使用Haproxy搭建Web群集
5.1 环境配置
- 主机要求
一台Haproxy服务器,两台Nginx服务器,一台共享存储(NFS)服务器
- 在做这个实验的时候,必须先关闭所有服务器的防火墙和核心防护!
[root@localhost examples]# systemctl stop firewalld
[root@localhost examples]# systemctl disable firewalld
[root@localhost examples]# vi /etc/selinux/config
SELINUX=disabled ## 关闭核心防护
= >> wq 保存
5.2 存储服务器 192.168.100.24
## 做共享目录实验时,最好不要选择7.4版本,会有很多bug
[root@localhost ~]# yum -y install rpcbind nfs-utils
[root@localhost ~]# systemctl start rpcbind ## 启动时,先启动rpcbind
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# vi /etc/exports ## 做共享网段的目录
/opt/Tom 192.168.100.0/24(rw,sync)
/opt/Jack 192.168.100.0/24(rw,sync)
## 设置重启和开机自启rpcbind,nfs-utils
[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# systemctl enable nfs
## 创建共享的主页,并给主页插入不同的内容,可以让我们更直观的看见后面的负载轮询页面
[root@localhost ~]# mkdir /opt/Tom /opt/Jack
[root@localhost ~]# echo "this is www.Tom.com" >/opt/Tom/index.html
[root@localhost ~]# echo "this is www.Jack.com" >/opt/Jack/index.html
5.2 Nginx服务器1 192.168.100.22
- 编译安装 Nginx,我们首先把nginx软件包上传至/opt下,可以用xftp或者别的软件上传(软件包在我上传的资源中)
[root@localhost ~]#yum -y install pcre-devel zlib-devel gcc-c++
[root@localhost ~]# useradd -M -s /sbin/nologin nginx
[root@localhost ~]# cd /opt
[root@localhost ~]# tar zxvf nginx-1.12.2.tar.gz
[root@localhost ~]# cd nginx-1.12.2
[root@localhost nginx-1.12.2]#
./configure \
--prefix=/usr/local/nginx \ ## 指定安装路径
--user=nginx \ ## 指定用户账号
--group=nginx ## 指定组账户
[root@localhost nginx-1.12.2]# make && make install ## 进行编译安装
[root@localhost nginx-1.12.2]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ ## 做软连接,并查看
[root@localhost nginx-1.12.2]# ls -l /usr/local/sbin/nginx
lrwxrwxrwx 1 root root 27 5 月 16 16:50 /usr/local/sbin/nginx -> /usr/local/nginx/sbin/nginx
- Nginx 的运行控制
- 检查配置文件
与 Apache 的主程序 httpd 类似, Nginx 的主程序也提供了“-t”选项用来对配置文件进行
检查, 以便找出不当或错误的配置。 配置文件 nginx.conf 默认位于安装目录下的 conf/子目
录中。 若要检查位于其他位置的配置文件, 可使用“-c”选项来指定路径
[root@localhost ~]# nginx -t ## 检查语法有无错误
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
■ 启动、 停止 Nginx
killall -1 nginx ####安全重启
killall -3 nginx ###停止服务
如果出现: -bash: killall: command not found
[root@localhost ~]# yum -y install psmisc ## 安装一下这条命令就好了
[root@localhost ~]# nginx ####启动
[root@localhost ~]# yum install net-tools
[root@localhost ~]# netstat -anpt | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN
7180/nginx: master
- 添加Nginx系统服务
添加 Nginx 系统服务
[root@localhost ~]# vi /lib/systemd/system/nginx.service
[Unit]
Description=nginx ####描述
After=network.target ####描述服务类别
[Service]
Type=forking ####后台运行形式
PIDFile=/usr/local/nginx/logs/nginx.pid ####PID 文件位置
ExecStart=/usr/local/nginx/sbin/nginx ####启动服务
ExecReload=/usr/bin/kill -s HUP $MAINPID ####根据 PID 重载配置
ExecStop=/usr/bin/kill -s QUIT $MAINPID ####根据 PID 终止进程
PrivateTmp=true
[Install]
WantedBy=multi-user.target
= >> wq 保存
[root@localhost ~]# chmod 754 /lib/systemd/system/nginx.service
[root@localhost ~]# systemctl enable nginx.service
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to
/usr/lib/systemd/system/nginx.service.
这样一来, 就可以 systemctl 命令来启动、 停止、 重启、 重载 Nginx 服务器了, 方法是
在执行时添加相应的 start、 stop、 restart、 reload 参数
#######刷下命令,服务正常工作了#########
[root@localhost ~]# killall -3 nginx ###停止服务
[root@localhost ~]# systemctl start nginx.service
[root@localhost ~]# systemctl enable nginx.service
- 安装httpd 挂载测试页
root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# showmount -e 192.168.100.24 ####如果还没发布,请到存储服务器发布下,exportfs -rv
Export list for 192.168.100.24:
/opt/Tom (everyone)
/opt/Jack (everyone)
[root@localhost ~]# vi /etc/fstab
192.168.100.24:/opt/Tom/ /usr/local/nginx/html/ nfs defaults,_netdev 0 0 ###开机自动挂载,注意格式对齐
[root@localhost nginx-1.12.2]# systemctl start nfs ## 开启nfs
[root@localhost nginx-1.12.2]# systemctl enable nfs ## 设置开机自启nfs
[root@localhost nginx-1.12.2]# init 6 ## 重启测试一下测试页
[root@localhost ~]# curl 192.168.100.22 ## 可以使用这种方法验证
this is www.Tom.com
## 也可以在浏览输入 192.168.100.22 测试一下
5.3 Nginx服务器2 192.168.100.23
- 前面的步骤和Nginx服务器 1 是一样的
安装httpd 挂载测试页
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# showmount -e 192.168.100.24 ####如果还没发布,请到存储服务器发布下,exportfs -rv
Export list for 192.168.100.24:
/opt/Tom (everyone)
/opt/Jack (everyone)
[root@localhost ~]# vi /etc/fstab
192.168.100.24:/opt/Jack/ /usr/local/nginx/html/ nfs defaults 0 0 ###开机自动挂载,注意格式对齐
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# systemctl enable nfs
[root@localhost nginx-1.12.2]# init 6
[root@localhost ~]# curl 192.168.100.23
this is www.Jack.com
## 也可以在浏览输入 192.168.100.23 测试一下
5.4 Haproxy 服务器 192.168.100.21
- 编译安装 Haproxy ,上传 haproxy-1.4.24.tar.gz 到/opt目录下
[root@localhost ~]# yum -y install pcre-devel bzip2-devel gcc gcc-c++ ## 安装所需环境
[root@localhost ~]# cd /opt
[root@localhost opt]# tar xzvf haproxy-1.4.24.tar.gz
[root@localhost opt]# cd haproxy-1.4.24/
[root@localhost haproxy-1.4.24]# make TARGET=linux26
[root@localhost haproxy-1.4.24]# make install
- 配置Haproxy 服务
[root@localhost haproxy-1.4.24]# mkdir /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/
[root@localhost haproxy-1.4.24]# vi /etc/haproxy/haproxy.cfg
100dd ,把里面的配置文件都删除!输入下面代码!
global
log 127.0.0.1 local0
log 127.0.0.1 local1 notice
#log loghost local0 info
maxconn 4096
#chroot /usr/share/haproxy
uid 99
gid 99
daemon
#debug
#quiet
defaults
log global
mode http
option httplog
option dontlognull
retries 3
#redispatch
maxconn 2000
contimeout 5000
clitimeout 50000
srvtimeout 50000
listen webcluster 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server inst1 192.168.100.22:80 check inter 2000 fall 3 ## 这里IP改成节点服务器 1 的IP
server inst2 192.168.100.23:80 check inter 2000 fall 3 ## 这里IP改成节点服务器 2 的IP
[root@localhost haproxy-1.4.24]# cp examples/haproxy.init /etc/init.d/haproxy
[root@localhost haproxy-1.4.24]# chmod 755 /etc/init.d/haproxy
[root@localhost haproxy-1.4.24]# chkconfig --add haproxy
[root@localhost haproxy-1.4.24]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
[root@localhost haproxy-1.4.24]# service haproxy start
[root@localhost haproxy-1.4.24]# systemctl start haproxy.service
[root@localhost haproxy-1.4.24]# systemctl enable haproxy.service
5.5 验证Haproxy搭建Web群集
- 在浏览器输入 192.168.100.21验证是否轮询页面。
- 验证成功!!