Nginx调度器

Nginx调度器

HTTP调度

什么是代理服务器

  • Nginx除了可以做web服务器(网站)之外还可以做反向代理服务器
  • 代理服务器的作用相当于代理人相当于中介
    代理服务器的过程
    当客户端访问代理服务器要页面的时候,代理服务器没有页面没关系,代理服务器帮你访问服务器,由后台服务器把访问结果交回代理服务器,再由代理服务器把结果传回给客户端.这个过程叫做代理服务器
    即可以让外网的用户访问到内网的服务器
    代理服务器也叫调度器
    调度器的作用:负载均衡 健康检查
    负载均衡:将客户端的并发访问量均衡的分配给后台服务器.对于高并发量来说,负载均衡就显得重要
    健康检查: 时不时的检查后台服务器的健康状态.一旦发现有一台服务器坏了就不会把客户端的请求交给它.什么时候这台服务器修好了就自动的恢复访问
    Nginx目前支持的调度器
    7层代理(OSI) 应用层(http网站代理)
    4层代理(TCP/UDP) 传输层(传输协议代理)

Nginx调度算法

  • nginx目前支持的调度算法

轮询(默认的):逐一调度
weight:指定轮询几率,权重值和访问比率成正比
ip_hash:根据客户端IP分配固定的后端服务器

服务器组状态类型

  • 状态类型

down:表示当前server暂时不参与负载
max_fails:允许请求失败的次数(默认为1)
fail_timeout:max_;fails次失败后,暂停提供服务的时间(秒)

Nginx反向代理

在这里插入图片描述
注意事项:做七层代理修改配置文件一定要在http{}里面配置

Nginx的HTTP调度器

问题
使用Nginx实现Web反向代理功能,实现如下功能:
后端Web服务器两台,可以使用httpd实现
Nginx采用轮询的方式调用后端Web服务器
两台Web服务器的权重要求设置为不同的值
最大失败次数为1,失败超时时间为30秒

方案
使用4台RHEL7虚拟机,其中一台作为Nginx代理服务器,该服务器需要配置两块网卡,IP地址分别为192.168.4.5和192.168.2.5,两台Web服务器IP地址分别为192.168.2.100和192.168.2.200。客户端测试主机IP地址为192.168.4.10

环境准备:
首先准备四台虚拟机IP地址分别为:
proxy:192.168.4.5/24(eth0)
Client:192.168.4.10/24(eth0)
web1:192.168.2.100/24(eth1)
web2:192.168.2.200/24(eth1)
在这里插入图片描述
步骤一:部署实施后端Web服务器

  1. 部署后端Web1服务器
    后端Web服务器可以简单使用yum方式安装httpd实现Web服务,为了可以看出后端服务器的不同,可以将两台后端服务器的首页文档内容设置为不同的内容。(只适合练习环境使用,生产环境下两台后端服务器的首页文档内容应该相同)
先查看yum源的仓库访问地址
[root@web1 ~]# yum  repolist 
[root@web1 ~]# yum  -y  install httpd
[root@web1 ~]# echo  "192.168.2.100"  >  /var/www/html/index.html
[root@web1 ~]# systemctl  restart  httpd

2)部署后端Web2服务器

[root@web2 ~]# yum  -y  install  httpd
[root@web2 ~]# echo "192.168.2.200"  >  /var/www/html/index.html
[root@web2 ~]# systemctl restart httpd

步骤二:配置Nginx服务器,添加服务器池,实现反向代理功能
1)修改/usr/local/nginx/conf/nginx.conf配置文件

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
 17 http {

 33     #gzip  on;
 34         upstream   webserver  {                        #定义集群的名字为webserver
 35         server  192.168.2.100:80;                      #不写端口号则默认访问80端口
 36         server  192.168.2.200;
 37 }       #使用upstream定义后端服务器集群,集群名称任意(如webserver)
            #使用server定义集群中的具体服务器和端口
            http {
 38
 39     server {http {
                 ...
 40         listen       80;
 41         server_name  localhost;
 47         location / {
 #通过proxy_pass将用户的请求转发给webserver集群
 48         proxy_pass  http://webserver;           #调用集群,计算机会默认先识别此行信息
 49             root   html;                        #优先级最低
 50             index  index.html index.htm;
 51         }

2)重起服务

[root@proxy nginx]# /usr/local/nginx/sbin/nginx 
[root@proxy nginx]# /usr/local/nginx/sbin/nginx   -s  reload     #重起服务
#请先确保nginx是启动状态,否则运行该命令会报错,报错信息如下:
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)
#############################################################################
[root@proxy ~]# /usr/local/nginx/sbin/nginx  -v                #查看当前nginx的版本
nginx version: nginx/1.12.2
[root@proxy ~]# /usr/local/nginx/sbin/nginx  -V                #查看当前nginx的详细信息,模块等
nginx version: nginx/1.12.2
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) 
built with OpenSSL 1.0.2k-fips  26 Jan 2017
TLS SNI support enabled
configure arguments: --with-http_ssl_module --with-stream --with-http_stub_status_module

3)客户端使用浏览器访问代理服务器测试轮询效果

[root@client ~]# curl http://192.168.4.5               #使用该命令多次访问
192.168.2.100
[root@client ~]# curl http://192.168.4.5               #使用该命令多次访问
192.168.2.200
出现的效果为轮询效果.
调度器带健康检查功能,当web服务器其中一台坏掉了,就会自动停止访问
下面以web1作为示例:
[root@web1 ~]# systemctl stop httpd
[root@client ~]# curl 192.168.4.5
192.168.2.200
[root@client ~]# curl 192.168.4.5
192.168.2.200
[root@client ~]# curl 192.168.4.5
192.168.2.200
由于实验中只用了两台web,所以停止web1服务,客户端还是能正常访问,没有任何感觉

步骤二:配置upstream服务器集群池属性

1)设置失败次数,超时时间,权重
weight可以设置后台服务器的权重,max_fails可以设置后台服务器的失败次数,fail_timeout可以设置后台服务器的失败超时时间。

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
upstream webserver {
                server 192.168.2.100 weight=1 max_fails=1 fail_timeout=30; 
                server 192.168.2.200 weight=2 max_fails=2 fail_timeout=30;
                server 192.168.2.101 down;                                    
        }
#weight设置服务器权重值,默认值为1(加权轮询)
#max_fails设置最大失败次数,测试服务器几次才确认服务器失败
#fail_timeout设置失败超时时间,单位为秒
#down标记服务器已关机,不参与集群调度
.. ..
server {
        listen        80;
        server_name  localhost;
            location / {
            proxy_pass http://webserver;
        }
}

2)重新加载配置

[root@proxy ~]# /usr/local/nginx/sbin/nginx -s reload
#请先确保nginx是启动状态,否则运行该命令会报错,报错信息如下:
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)
  1. 关闭一台后端服务器(如web1)
[root@web1 ~]# systemctl stop httpd
  1. 客户端使用浏览器访问代理服务器测试轮询效果
[root@client ~]# curl http://192.168.4.5            //使用该命令多次访问查看效果
  1. 再次启动后端服务器的httpd(如web1)
[root@web1 ~]# systemctl start httpd
  1. 客户端再次使用浏览器访问代理服务器测试轮询效果
[root@client ~]# curl http://192.168.4.5            //使用该命令多次访问查看效果

步骤三:配置upstream服务器集群的调度算法

1)设置相同客户端访问相同Web服务器

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
upstream webserver {
#通过ip_hash设置调度规则为:相同客户端访问相同服务器
                 ip_hash;
                server 192.168.2.100 weight=1 max_fails=2 fail_timeout=10;
                server 192.168.2.200 weight=2 max_fails=2 fail_timeout=10;
        }
.. ..
server {
        listen        80;
        server_name  www.tarena.com;
            location / {
            proxy_pass http://webserver;
        }
}

2)重新加载配置

root@proxy ~]# /usr/local/nginx/sbin/nginx -s reload
#请先确保nginx是启动状态,否则运行该命令会报错,报错信息如下:
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)

3 ) 客户端使用浏览器访问代理服务器测试轮询效果

[root@client ~]# curl http://192.168.4.5            //使用该命令多次访问查看效果

TCP/UDP调度

模块

  • ngx_stream_core_module模块
  • 使用==–with-stream==开启该模块
    注意:
    nginx从1.9版本才开始支持该功能

语法格式

在这里插入图片描述
注意事项:做四层代理修改配置文件一定要在在http{}外面配置

问题

使用Nginx实现TCP/UDP调度器功能,实现如下功能:
后端SSH服务器两台
Nginx编译安装时需要使用–with-stream,开启ngx_stream_core_module模块
Nginx采用轮询的方式调用后端SSH服务器
方案

使用4台RHEL7虚拟机,其中一台作为Nginx代理服务器,该服务器需要配置两块网卡,IP地址分别为192.168.4.5和192.168.2.5,两台SSH服务器IP地址分别为192.168.2.100和192.168.2.200。客户端测试主机IP地址为192.168.4.10。如图-2所示。
在这里插入图片描述
步骤一:部署支持4层TCP/UDP代理的Nginx服务器

1)部署nginx服务器
编译安装必须要使用–with-stream参数开启4层代理模块。

如果安装过nginx,首先将安装的nginx服务器停掉再删掉nginx,没有则直接安装nginx的依赖包们gcc,openssl-devel,pcre-devel
[root@proxy nginx]# /usr/local/nginx/sbin/nginx -s  stop
[root@proxy nginx]# rm  -rf  /usr/local/nginx/
[root@proxy nginx]# cd 
[root@proxy ~]# cd  nginx-1.12.2/
[root@proxy nginx-1.12.2]# ./configure  \
> --with-http_ssl_module  \                    //开启SSL加密功能
> --with-stream                                //开启4层反向代理功能
[root@proxy nginx-1.12.2]# make && make  install               //编译并安装

2 ) 修改nginx的配置文件

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
 16 stream {
 17    upstream  backend {
 18         server   192.168.2.100:22;                              //后端SSH服务器的IP和端口
 19         server   192.168.2.200:22;
 20    }
 21    server  {
 22         listen  12345;                            //Nginx监听的端口,不要使用22端口,会产生端口的冲突
 23         proxy_pass  backend;                                  
 24    }
 25 }                                                               
 26 
 27 http {
 28    include       mime.types;
 29   ......

端口冲突

网络原则: IP地址对应唯一的一台主机,端口对应唯一的一个服务
当两个服务都想霸占一个端口时会产生冲突

3 ) 重起服务

 [root@proxy ~]# /usr/local/nginx/sbin/nginx   
[root@proxy ~]# /usr/local/nginx/sbin/nginx   -s  reload 
#请先确保nginx是启动状态,否则运行该命令会报错,报错信息如下:
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)

4 ) 客户端使用访问代理服务器测试轮询效果

[root@client ~]# ssh   192.168.4.5                                 //如果不指定-p选项,则默认进入22端口,进入到proxy
[root@proxy ~]# 
[root@client ~]# ssh   192.168.4.5  -p  12345               //根据轮询的原则显示
[root@web1 ~]# exit
[root@client ~]# ssh   192.168.4.5  -p  12345
[root@web2 ~]# exit

Nginx常见问题处理

问题
本案例要求对Nginx服务器进行适当优化,解决如下问题,以提升服务器的处理性能:

  • 如何自定义返回给客户端的404错误页面
  • 如何查看服务器状态信息
  • 如果客户端访问服务器提示“Too many open files”如何解决
  • 如何解决客户端访问头部信息过长的问题
  • 如何让客户端浏览器缓存数据

客户机访问此Web服务器验证效果:

  • 使用ab压力测试软件测试并发量
  • 编写测试脚本生成长头部信息的访问请求
  • 客户端访问不存在的页面,测试404错误页面是否重定向
自定义报错页面

1)优化前,客户端使用浏览器访问不存在的页面,会提示404文件未找到

[root@client ~]# firefox http://192.168.4.5/xxxxx        //访问一个不存在的页面
<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.12.2</center>
</body>
</html>

2 ) 修改Nginx配置文件,自定义报错页面

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
        charset utf-8;                    //仅在需要中文时修改该选项
error_page   404  /404.html;    //自定义错误页面
.. ..
[root@proxy ~]# vim /usr/local/nginx/html/404.html        //生成错误页面
偶买噶,没有页面啦
[root@proxy ~]# usr/local/nginx/sbin/nginx   -s  reload
#请先确保nginx是启动状态,否则运行该命令会报错,报错信息如下:
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)

3 ) 优化后,客户端使用浏览器访问不存在的页面,会提示自己定义的40x.html页面

[root@client ~]# firefox  192.168.4.5/udhuishdi

在这里插入图片描述

常见的http代码

状态码功能描述
100请求已接收,客户端可以继续发送请求
101Switching Protocals 服务器根据客户端的请求切换协议
200一切正常
201服务器已经创建了文档
202服务器已接收了请求,但处理尚未完成
203文档正常返回,但一些头部信息可能不正确
300客户端请求的资源可以在多个位置找到
301永久重定向
302临时重定向
305使用代理服务
400请求语法错误
401用户名或密码错误,客户被拒绝
401.1登录失败
403禁止访问(客户端IP地址被拒绝)
404文件不存在
406指定资源已找到,但MIME类型与客户端要求不兼容
406.6IP地址被拒绝
403.9用户数过多
414请求URL头部过长
500服务器内部错误
501服务器不支持客户端的请求功能
502Bad Gateway网关错误,一般是做了集群,找不着后台服务器,服务器作为网关或者代理时,为了完成请求访问下一个服务器,当该服务器返回了非法应答
503服务不可用
504网关超时,服务器处于维护或者负载过高无法响应
505服务器不支持客户端请求的HTTP版本
返回状态码规律
  • 200开头代表一切正常
  • 300开头代表重定向
  • 400开头代表客户端问题
  • 500开头代表服务器内部问题
查看服务器的状态信息

如何查看服务器状态信息(非常重要的功能)
1)编译安装时使用–with-http_stub_status_module开启状态页面模块
再次重新编译安装nginx

[root@proxy ~]# /usr/local/nginx/sbin/nginx  -s  stop
[root@proxy ~]# rm  -rf  /usr/local/nginx/
[root@proxy ~]# tar  -zxvf   nginx-1.12.2.tar.gz
[root@proxy ~]# cd  nginx-1.12.2
[root@proxy nginx-1.12.2]# ./configure   \

> --with-http_ssl_module                        //开启SSL加密功能
> --with-stream                                //开启TCP/UDP代理模块
> --with-http_stub_status_module                //开启status状态页面
[root@proxy nginx-1.12.2]# make && make install    //编译并安装

2)启用Nginx服务并查看监听端口状态

ss命令可以查看系统中启动的端口信息,该命令常用选项如下:
-a显示所有端口的信息
-n以数字格式显示端口号
-t显示TCP连接的端口
-u显示UDP连接的端口
-l显示服务正在监听的端口信息,如httpd启动后,会一直监听80端口
-p显示监听端口的服务名称是什么(也就是程序名称) 注意:在RHEL7系统中可以使用ss命令替代netstat命令,功能一样,选项一样。

[root@proxy ~]# /usr/local/nginx/sbin/nginx
[root@proxy ~]# netstat  -anptu  |  grep nginx
tcp        0        0 0.0.0.0:80        0.0.0.0:*        LISTEN        10441/nginx
[root@proxy ~]# ss  -anptu  |  grep nginx

3 ) 修改nginx配置文件

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
 35     server {
 36         listen       80;
 37         server_name  localhost;
 38 
 39         location   /status  {                     #如果用户要访问status,那么
 40         stub_status  on;
            # allow   IP地址(管理员IP)
            # deny    ip地址(all)    #只允许管理员查看状态
 41 }
[root@proxy ~]# /usr/local/nginx/sbin/nginx  
[root@proxy ~]# /usr/local/nginx/sbin/nginx  -s  reload

4)优化后,查看状态页面信息

[root@proxy ~]# curl  http://192.168.4.5/status
Active connections: 1 
server accepts handled requests
1  1   1
Reading: 0 Writing: 1 Waiting: 0

在这里插入图片描述
Active connections:当前活动的连接数量。
Accepts Handled Requests:服务端已经接受客户端连接总数和已经处理客户端的连接总数
(一般与accepts一致,除非服务器限制了连接数量)。
数量只会增高. 重启nginx的时候会重置为0.
第一个数字代表客户端发送多少次请求连接
第二个数字代表服务端处理了多少次客户端的请求
第三个数字代表网页点击量,刷新一次要一次页面
Reading:当前服务器正在读取客户端请求头的数量。
Writing:当前服务器正在写响应信息的数量。
Waiting:当前多少客户端在等待服务器的响应。

优化Nginx并发量

1)优化前使用ab高并发测试

[root@proxy ~]# ab -n 2000 -c 2000 http://192.168.4.5/
Benchmarking 192.168.4.5 (be patient)
socket: Too many open files (24)                //提示打开文件数量过多

2 )修改Nginx配置文件,增加并发量

[root@proxy ~]# lscpu
CPU(s):                2                                 #双核
[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
worker_processes  2;                    //与CPU核心数量一致
events {
worker_connections 65535;        //每个worker最大并发连接数,理论值5万
 #这两行的两个参数与并发量有关
 #端口号最大数: 65535
}
.. ..
[root@proxy ~]# /usr/local/nginx/sbin/nginx -s reload

3)优化Linux内核参数(最大文件数量,1024)

[root@proxy ~]# ulimit -a                        //查看所有属性值
              open files                      (-n) 1024         //最多开多少文件
             max user processes               (-u) 5569         //最多开多少程序
[root@proxy ~]# ulimit -Hn 100000                //设置硬限制(临时规则)
[root@proxy ~]# ulimit -Sn 100000                //设置软限制(临时规则)
[root@proxy ~]# ulimit  -a                       //再次查看
              open files                      (-n) 100000
[root@proxy ~]# ab  -c 2000 -n  2000  http://192.168.4.5/      //再次查看,此时就可以直接看到回复

[root@proxy ~]# vim /etc/security/limits.conf
    .. ..
*               soft    nofile            100000
*               hard    nofile            100000
#该配置文件分4列,分别如下:
#用户或组    硬限制或软限制    需要限制的项目   限制的值

4)优化后测试服务器并发量(因为客户端没调内核参数,所以在proxy测试)

[root@proxy ~]# ab -n 2000 -c 2000 http://192.168.4.5/

优化Nginx数据包头缓存

1)优化前,使用脚本测试长头部请求是否能获得响应

[root@proxy ~]# ls /opt/lnmp_soft/buffer.sh
/opt/lnmp_soft/buffer.sh
[root@proxy ~]# cd /opt/lnmp_soft/
[root@proxy lnmp_soft]# ./buffer.sh 
<html>
<head><title>414 Request-URI Too Large</title></head>  ##出现414报错
<body bgcolor="white">
<center><h1>414 Request-URI Too Large</h1></center>  ##提示URI地址栏头部信息过大
<hr><center>nginx/1.12.2</center>
</body>
</html>

2 ) 修改Nginx配置文件,增加数据包头部缓存大小

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
client_header_buffer_size    1k;        //默认请求包头信息的缓存    
large_client_header_buffers  4 4k;        //大请求包头部信息的缓存个数与容量,4个乘4k
.. ..
}
[root@proxy ~]# /usr/local/nginx/sbin/nginx -s reload

3)优化后,使用脚本测试长头部请求是否能获得响应

[root@proxy lnmp_soft]# ./buffer.sh 
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
浏览器本地缓存静态数据

1)使用Firefox浏览器查看缓存
以Firefox浏览器为例,在Firefox地址栏内输入about:cache将显示Firefox浏览器的缓存信息,如图-3所示,点击List Cache Entries可以查看详细信息。
在这里插入图片描述
disk (目前缓存的信息有多少)
Number of entries: 缓存数
Maximum storage size: 最大缓存
Storage in use: 缓存大小
Storage disk location: 缓存路径
List Cache Entries 查看曾经缓存的资料

2)清空firefox本地缓存数据,如图-4所示。

在这里插入图片描述
3)修改Nginx配置文件,定义对静态页面的缓存时间

[root@proxy ~]# vim /usr/local/nginx/conf/nginx.conf
server {
        listen       80;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }
location ~* \.(jpg|jpeg|gif|png|css|js|ico|xml)$ {              
expires        30d;            //定义客户端缓存时间为30天
}
}
[root@proxy ~]# cp /usr/share/backgrounds/day.jpg /usr/local/nginx/html
[root@proxy ~]# /usr/local/nginx/sbin/nginx -s reload
#请先确保nginx是启动状态,否则运行该命令会报错,报错信息如下:
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)

4)优化后,使用Firefox浏览器访问图片,再次查看缓存信息

[root@client ~]# firefox http://192.168.4.5/day.jpg

在这里插入图片描述

  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 像素格子 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值