目录
4、使用后端服务器自身通过相关机制保持session同步,如:使用数据库、redis、memcached 等做session复制
Nginx负载均衡
1、负载均衡的作用
如果你的nginx服务器给2台web服务器做代理,负载均衡算法采用轮询,那么当你的一台机器web程序关闭造成web不能访问,那么nginx服务器分发请求还是会给这台不能访问的web服务器,如果这里的响应连接时间过长,就会导致客户端的页面一直在等待响应,对用户来说体验就打打折扣,这里我们怎么避免这样的情况发生呢。这里我配张图来说明下问题。
如果负载均衡中其中web2发生这样的情况,nginx首先会去web1请求,但是nginx在配置不当的情况下会继续分发请求道web2,然后等待web2响应,直到我们的响应时间超时,才会把请求重新分发给web1,这里的响应时间如果过长,用户等待的时间就会越长。
下面将给出解决方案之一。
部分参数解释:
proxy_connect_timeout 1; #nginx服务器与被代理的服务器建立连接的超时时间,默认60秒 proxy_read_timeout 1; #nginx服务器向被代理服务器组发出read请求后,等待响应的超时间,默认为60秒。 proxy_send_timeout 1; #nginx服务器向被代理服务器组发出write请求后,等待响应的超时间,默认为60秒。 proxy_ignore_client_abort on; #客户端断网时,nginx服务器是否中断对被代理服务器的请求。默认为off。
使用upstream指令配置一组服务器作为被代理服务器,服务器中的访问算法遵循配置的负载均衡规则,同时可以使用该指令配置在发生哪些异常情况时,将请求顺次交由下一组服务器处理.
proxy_next_upstream timeout; #反向代理upstream中设置的服务器组,出现故障时,被代理服务器返回的状态值。error|timeout|invalid_header|http_500|http_502|http_503|http_504|http_404|off location / { proxy_pass http://web01; proxy_next_upstream http_404; }
error:建立连接或向被代理的服务器发送请求或读取响应信息时服务器发生错误。
timeout:建立连接,想被代理服务器发送请求或读取响应信息时服务器发生超时。
invalid_header:被代理服务器返回的响应头异常。
off:无法将请求分发给被代理的服务器。
http_400,....:被代理服务器返回的状态码为400,500,502,等
2、upstream配置
首先给大家说下 upstream 这个配置的,这个配置是写一组被代理的服务器地址,然后配置负载均衡的算法。这里的被代理服务器地址有两种写法。
upstream testapp { server 10.0.105.199:8081; server 10.0.105.202:8081; } server { listen 80; server_name localhost; location / { proxy_pass http://testapp; #请求转向 testapp 定义的服务器列表 }
upstream mysvr { server http://10.0.105.199:8081; server http://10.0.105.202:8081; } server { listen 80; server_name localhost; location / { proxy_pass http://mysvr; #请求转向mysvr 定义的服务器列表 }
3、负载均衡算法
upstream 支持4种负载均衡调度算法:
A、轮询(默认)
:每个请求按时间顺序逐一分配到不同的后端服务器;
B、ip_hash
:每个请求按访问IP的hash结果分配,同一个IP客户端固定访问一个后端服务器。可以保证来自同一ip的请求被打到固定的机器上,可以解决session问题。
C、url_hash
:按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器。后台服务器为缓存的时候提高效率。这种情况VPV翻墙可能用的多。
D、fair
:这是比上面两个更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡,也就是根据后端服务器的响应时间来分配请求,响应时间短的优先分配。Nginx
本身是不支持 fair
的,如果需要使用这种调度算法,必须源码下载安装Nginx的 upstream_fair
模块。
4、配置实例
1、热备:如果你有2台服务器,当一台服务器发生事故时,才启用第二台服务器给提供服务。服务器处理请求的顺序:AAAAAA突然A挂啦,BBBBBBBBBBBBBB.....
upstream myweb { server 172.17.14.2:8080; server 172.17.14.3:8080 backup; #热备 }
2、轮询:nginx默认就是轮询其权重都默认为1,服务器处理请求的顺序:ABABABABAB....
upstream myweb { server 172.17.14.2:8080; server 172.17.14.3:8080; }
3、加权轮询:跟据配置的权重的大小而分发给不同服务器不同数量的请求。如果不设置,则默认为1。下面服务器的请求顺序为:ABBABBABBABBABB....
upstream myweb { server 172.17.14.2:8080 weight=1; server 172.17.14.3:8080 weight=2; }
4、ip_hash:nginx会让相同的客户端ip请求相同的服务器。
upstream myweb { server 172.17.14.2:8080; server 172.17.14.3:8080; ip_hash; }
5、nginx负载均衡配置状态参数
-
down,表示当前的server暂时不参与负载均衡。
-
backup,预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候,才会请求backup机器,因此这台机器的压力最轻。
-
max_fails,允许请求失败的次数,默认为1。当超过最大次数时,返回proxy_next_upstream 模块定义的错误。
-
fail_timeout,在经历了max_fails次失败后,暂停服务的时间单位秒。max_fails可以和fail_timeout一起使用。
upstream myweb { server 172.17.14.2:8080 weight=2 max_fails=2 fail_timeout=2; server 172.17.14.3:8080 weight=1 max_fails=2 fail_timeout=1; }
如果你像跟多更深入的了解 nginx 的负载均衡算法,nginx官方提供一些插件大家可以了解下。
5、nginx配置7层协议及4层协议方法(扩展)
举例讲解下什么是7层协议,什么是4层协议。
(1)7层协议
OSI(Open System Interconnection)是一个开放性的通行系统互连参考模型,他是一个定义的非常好的协议规范,共包含七层协议。直接上图,这样更直观些:
好,详情不进行仔细讲解,可以自行百度!
(2)4层协议
TCP/IP协议 之所以说TCP/IP是一个协议族,是因为TCP/IP协议包括TCP、IP、UDP、ICMP、RIP、TELNETFTP、SMTP、ARP、TFTP等许多协议,这些协议一起称为TCP/IP协议。
从协议分层模型方面来讲,TCP/IP由四个层次组成:网络接口层、网络层、传输层、应用层。
(3)协议配置
这里我们举例,在nginx做负载均衡,负载多个服务,部分服务是需要7层的,部分服务是需要4层的,也就是说7层和4层配置在同一个配置文件中。
准备三台机器:
代理服务IP:10.0.105. --配置本地host解析域名;
后端服务器IP:nginx-a :10.0.105.199/nginx-b:10.0.105.202(yum安装)后端服务器将nginx服务启动
配置代理服务器的nginx配置文件
worker_processes 4; worker_rlimit_nofile 102400; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; keepalive_timeout 65; gzip on; upstream testweb { ip_hash; server 10.0.105.199:80 weight=2 max_fails=2 fail_timeout=2s; server 10.0.105.202:80 weight=2 max_fails=2 fail_timeout=2s; } server { listen 80; server_name www.test.com; charset utf-8; #access_log logs/host.access.log main; location / { proxy_pass http://testweb; proxy_set_header Host $host:$server_port; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } upstream testapp { server 10.0.105.202:8081 weight=2 max_fails=2 fail_timeout=2s; server 10.0.105.199:8081 weight=2 max_fails=2 fail_timeout=2s; } server { listen 81; server_name www.app.com; charset utf-8; #access_log logs/host.access.log main; location / { proxy_pass http://testapp; proxy_set_header Host $host:$server_port; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } }
浏览器测试访问:
202服务器yum安装的创建新的配置文件:
[root@nginx-server ~]# cd /etc/nginx/conf.d/ [root@nginx-server conf.d]# cp default.conf test.conf [root@nginx-server conf.d]# cat test.conf server { listen 80; server_name localhost; location / { root /usr/share/nginx/html; index index.html index.htm; } } server { listen 8081; server_name localhost; location / { root /var/www/nginx/html; index index.html index.htm; } } [root@nginx-server ~]# nginx -s reload
nginx在1.9.0的时候,增加了一个 stream 模块,用来实现四层协议(网络层和传输层)的转发、代理、负载均衡等。stream模块的用法跟http的用法类似,允许我们配置一组TCP或者UDP等协议的监听,然后通过proxy_pass来转发我们的请求,通过upstream添加多个后端服务,实现负载均衡。
#4层tcp负载 stream { upstream myweb { hash $remote_addr consistent; server 172.17.14.2:8080; server 172.17.14.3:8080; } server { listen 82; proxy_connect_timeout 10s; proxy_timeout 30s; proxy_pass myweb; } }
实验1:七层负载均衡
三台虚拟机,安装nginx
localhost | Roucky_linux9.4 | 192.168.226.20 |
localhost | Roucky_linux9.4 | 192.168.226.21 |
localhost | Roucky_linux9.4 | 192.168.226.22 |
配置官方源:
sudo tee /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx-stable]
name=nginx stable repo
baseurl=https://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
[nginx-mainline]
name=nginx mainline repo
baseurl=https://nginx.org/packages/mainline/centos/$releasever/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://nginx.org/keys/nginx_signing.key
EOF
下载并启动:
yum install -y nginx
systemctl enable --now nginx
修改192.168.226.20主机下/etc/nginx/conf.d/default.conf文件
vim /etc/nginx/conf.d/default.conf
#这个文件全部删除,添加下述内容
upstream web {
server 192.168.226.21;
server 192.168.226.22;
}
server {
listen 80;
server_name www.webserver.org;
location / {
proxy_pass http://web; #请求转向 testapp 定义的服务器列表
}
}
配置windows中hosts文件域名解析C:\Windows\System32\drivers\etc\hosts
#添加一条解析记录本机IP和域名,需要用记事本管理员身份打开编辑保存
192.168.226.20 www.webserver.org
修改默认发布页面用于区分主机
#对192.168.226.20操作
echo "nginx" > /usr/share/nginx/html/index.html
#对192.168.226.21操作
echo "webserver1" > /usr/share/nginx/html/index.html
#对192.168.226.22操作
echo "webserver2" > /usr/share/nginx/html/index.html
三台虚拟机都重启nginx
systemctl restart nginx
使用域名打开配置的192.168.226.20主机,即www.webserver.org打开后多次刷新即可跳转。
现在停止一个nginx服务,将 192.168.226.21主机的nginx停止,然后再刷新域名,可以看到,挂掉的web错误页面还是能访问到,默认的轮询算法不会把挂掉的排除,这时可以换个算法,并且引入会话保持。
那么可以按照下面步骤换个算法,用ip_hash算法
修改192.168.226.20配置文件
vim /etc/nginx/conf.d/default.conf
#看下图在指定位置加入 ip_hash;
重启nginx
systemctl restart nginx
再次刷新页面观察,这个会一致留在正常页面,保持会话
到这里就完成七层负载均衡的实验。
实验2 :四层负载均衡
修改192.168.226.20的配置文件
vim /etc/nginx/nginx.conf +35
#该配置文件最后加如下述代码,也可见图中样式
stream {
upstream sshserver {
server 192.168.226.21:22;
server 192.168.226.22:22;
}
server {
listen 82;
proxy_connect_timeout 10s;
proxy_timeout 30s;
proxy_pass sshserver;
}
}
重启nginx
systemctl restart nginx
连接查看
ssh root@192.168.226.20 -p 82
#提示确认
#提示输入密码
#然后使用ip a查看IP
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
link/ether 00:0c:29:16:3b:ae brd ff:ff:ff:ff:ff:ff
altname enp2s1
inet 192.168.226.21/24 brd 192.168.226.255 scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet6 fe80::77cd:475a:55bf:22d3/64 scope link noprefixroute
valid_lft forever preferred_lft forever
这时发现用192.168.226.20连接成功转发到配置的后端服务器,因为连接后会生成一个公钥记录
所以下次连接还会是同一个主机,影响测试,那么我们删除这个记录
rm -rf /root/.ssh/known*
然后再使用命令连接,多次进行尝试,因为连接哪个机器的概率是一样的,使用默认算发轮询。
ssh root@192.168.226.20 -p 82
#提示确认
#提示输入密码
#然后使用ip a查看IP
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
link/ether 00:0c:29:fc:63:2e brd ff:ff:ff:ff:ff:ff
altname enp2s1
inet 192.168.226.22/24 brd 192.168.226.255 scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fefc:632e/64 scope link noprefixroute
valid_lft forever preferred_lft forever
到这里就完成四层负载均衡的实验。
nginx 会话保持
nginx会话保持主要有以下几种实现方式。
1、ip_hash
ip_hash使用源地址哈希算法,将同一客户端的请求总是发往同一个后端服务器,除非该服务器不可用。
ip_hash语法:
upstream backend { ip_hash; server backend1.example.com; server backend2.example.com; server backend3.example.com down; }
ip_hash简单易用,但有如下问题: 当后端服务器宕机后,session会丢失; 来自同一局域网的客户端会被转发到同一个后端服务器,可能导致负载失衡; 不适用于CDN网络,不适用于前段还有代理的情况。
2、sticky_cookie_insert
使用sticky_cookie_insert启用会话亲缘关系,这会导致来自同一客户端的请求被传递到一组服务器的同一台服务器。与ip_hash不同之处在于,它不是基于IP来判断客户端的,而是基于cookie来判断。因此可以避免上述ip_hash中来自同一局域网的客户端和前段代理导致负载失衡的情况。(需要引入第三方模块才能实现) # 课后扩展 语法:
upstream backend { server backend1.example.com; server backend2.example.com; sticky expires=1h domain=3evip.cn path=/; }
说明: expires:设置浏览器中保持cookie的时间 domain:定义cookie的域 path:为cookie定义路径
3、jvm_route方式
jvm_route是通过session_cookie这种方式来实现session粘性。将特定会话附属到特定tomcat上,从而解决session不同步问题,但是无法解决宕机后会话转移问题。如果在cookie和url中并没有session,则这只是个简单的round-robin负载均衡。
jvm_route的原理
-
一开始请求过来,没有带session的信息,jvm_route就根据round robin的方法,发到一台Tomcat上面
-
Tomcat添加上session信息,并返回给客户
-
用户再次请求,jvm_route看到session中有后端服务器的名称,他就把请求转到对应的服务器上
暂时jvm_route模块还不支持fair的模式。jvm_route的工作模式和fair是冲突的。对于某个特定用户,当一直为他服务的Tomcat宕机后,默认情况下它会重试max_fails的次数,如果还是失败,就重新启用round robin的方式,而这种情况下就会导致用户的session丢失。