负载均衡-nginx

最新推荐文章于 2024-03-04 10:57:33 发布

崔世勋

最新推荐文章于 2024-03-04 10:57:33 发布

阅读量357

点赞数

分类专栏：软件架构 dubbo/rpc框架/负载均衡

软件架构同时被 2 个专栏收录

155 篇文章 1 订阅

订阅专栏

dubbo/rpc框架/负载均衡

77 篇文章 0 订阅

订阅专栏

nginx架构

nginx是一个强大的web服务器软件，用于处理高并发的http请求和作为反向代理做负载均衡。

nginx启动以后，会在系统中以daemon的方式在后台运行，其中包括一个master进程，多个worker进程。其中master进程用于接收来自外界的信号，并给worker进程发送信号，同是监控worker进程的工作状态。

worker进程则是外部请求真正的处理者，每个worker请求相互独立且平等的竞争来自客户端的请求。请求只能在一个worker进程中被处理，且一个worker进程只有一个主线程，所以同时只能处理一个请求。那么问题来了，一个worker进程只有一个主线程，只能同时处理一个请求，nginx对高并发请求强大的处理能力是如何保证的呢？答案是nginx采用异步非阻塞的方式来处理请求，即单线程、非阻塞、异步IO的工作模型。对比apache的异步非阻塞版本的工作模式，apache会为每一个请求新建一个线程去处理请求，线程进行上下文切换，会造成内存和CPU的浪费。反看nginx的异步非阻塞io模式，实用操作系统提供的io多路复用技术(epoll)，在一个线程中处理所有请求，当一个io操作开始的时候，nginx不会等待其完成就回去处理下一个请求，等到io操作完成后，nginx再回来处理这一次请求io操作的后续工作。相比apache，nginx省去了线程上下文切换带来的资源开销。

那么nginx如何确定哪个worker来处理请求呢？首先，每个worker进程都是从master进程fork过来，在master进程里面，先建立好需要listen的socket（listenfd）之后，然后再fork出多个worker进程。所有worker进程的listenfd会在新连接到来时变得可读，为保证只有一个进程处理该连接，所有worker进程在注册listenfd读事件前抢accept_mutex，抢到互斥锁的那个进程注册listenfd读事件，在读事件里调用accept接受该连接。当一个worker进程在accept这个连接之后，就开始读取请求，解析请求，处理请求，产生数据后，再返回给客户端，最后才断开连接，这样一个完整的请求就是这样的了。这样，一个请求，完全由worker进程来处理，而且只在一个worker进程中处理

nginx性能

这里援引网上搜索到的nginx的测试数据：10000个非活跃的HTTP keep-alive 连接仅占用约2.5MB内存。三万并发连接下，10个Nginx进程，消耗内存150M。淘宝tengine团队说测试结果是“24G内存机器上，处理并发请求可达200万”。

nginx负载均衡

通信协议支持：nginx负载均衡主要是对七层网络通信模型中的第七层应用层上的http、https进行支持。同时nginx更新版本也在逐步对Websocket、SPDY等协议作出支持。

nginx是以反向代理的方式进行负载均衡的。反向代理（Reverse Proxy）方式是指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。(为了理解反向代理，这里插播一条什么是正向代理：正向代理指的是，一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。)

这里再插播一条实现负载均衡的技术的方式有哪些：硬件层面有F5负载均衡器，网络层层面有LVS(Linux Virtual Server)，应用层层面就是nginx、Haproxy等。

nginx实现负载均衡的分配策略有很多，被编进nginx内核的策略有轮询和ip_hash，第三方的有fair、url_hash等。这里主要对内核策略进行介绍。

1.轮询

　　a)none(默认轮询):upstream按照轮询（默认）方式进行负载，每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。虽然这种方式简便、成本低廉。但缺点是：可靠性低和负载分配不均衡。

　　b)weight(按权重轮询):指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。　

server 192.168.61.22 weight = 6; # 60% 请求
server 192.168.61.23 weight = 4; # 40% 请求

2.ip_hash

　　每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。配置只需要在upstream中加入"ip_hash;"即可。

upstream tomcats {
      ip_hash;
      server 127.0.0.1:9001;
      server 127.0.0.1:9002;
}

3.fair(第三方)

　　按后端服务器的响应时间来分配请求，响应时间短的优先分配。与weight分配策略类似。

upstream tomcats {
      server 127.0.0.1:9001;
      server 127.0.0.1:9002;
      fair;
}

4.url_hash(第三方)

　　和IP哈希类似，只不过针对请求的url进行hash（基于缓存的server，页面静态化）。

Nginx的安装

可以通过yum或非yum方式。

1、下载相关组件

[root@localhost src]# wget http://nginx.org/download/nginx-1.10.2.tar.gz
省略安装内容...
[root@localhost src]# wget http://www.openssl.org/source/openssl-fips-2.0.10.tar.gz
省略安装内容...
[root@localhost src]# wget http://zlib.net/zlib-1.2.11.tar.gz
省略安装内容...
[root@localhost src]# wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.40.tar.gz
省略安装内容...

安装c++编译环境

[root@localhost src]# yum install gcc-c++
省略安装内容...
期间会有确认提示输入y回车
Is this ok [y/N]:y
省略安装内容...

2、安装nginx及相关组件

[root@localhost src]# tar zxvf openssl-fips-2.0.10.tar.gz
省略安装内容...
[root@localhost src]# cd openssl-fips-2.0.10
[root@localhost openssl-fips-2.0.10]# ./config && make && make install
省略安装内容...

[root@localhost src]# tar zxvf pcre-8.40.tar.gz
省略安装内容...
[root@localhost src]# cd pcre-8.40
[root@localhost pcre-8.40]# ./configure && make && make install
省略安装内容...

[root@localhost src]# tar zxvf zlib-1.2.11.tar.gz
省略安装内容...
[root@localhost src]# cd zlib-1.2.11
[root@localhost zlib-1.2.11]# ./configure && make && make install
省略安装内容...

root@localhost src]# tar zxvf nginx-1.10.2.tar.gz
省略安装内容...
[root@localhost src]# cd nginx-1.10.2
[root@localhost nginx-1.10.2]# ./configure && make && make install
省略安装内容...

3、nginx的基本操作

启动
[root@localhost ~]# /usr/local/nginx/sbin/nginx
停止/重启
[root@localhost ~]# /usr/local/nginx/sbin/nginx -s stop(quit、reload)
命令帮助
[root@localhost ~]# /usr/local/nginx/sbin/nginx -h
验证配置文件
[root@localhost ~]# /usr/local/nginx/sbin/nginx -t
配置文件
[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

4、非root安装nginx

https://download.csdn.net/download/chs007chs/10941748,可以从这里下载安装包。

因为没有root权限，所以nginx安装部署的根目录不能是默认的（因为在usr目录下无法创建文件），必须要设置。另外pcre和zlib库也是需要的，但在linux命令行下使用yum 安装也是需要root权限的。这些都可以通过设置configure参数解决。使用命令./configure --prefix=(安装目录) --with-pcre=(放置pcre库的目录) --with-zlib=(放置zlib的目录)

注意with-pcre指向解压包，zlib也是指向解压包。

之后再make和make install

nginx自定义路由

1、改写路径

# 匹配/service/开头的任何查询并且停止搜索。任何正则表达式将不会被测试。
location ^~ /service/ {
    #将service指向/html/service目录
    #测试过程中，可以用 在结尾加上 redirect 查看跳转结果
    #rewrite ^/service/(.*)$  /html/service/$1$2 redirect;
    rewrite ^/service/(.*)$  /html/service/$1$2;
}

2、映射虚拟目录

location /phpstudy/static/ {
    alias /usr/local/nginx/html/phpstudy/www/static/;
}

3、禁止访问所有.开头的隐藏文件设置

location ~* /.* {
deny all;
}

4、只允许固定ip访问网站，并加上密码

root /opt/htdocs/www;
allow  208.97.167.194; 
allow  222.33.1.2; 
allow  231.152.49.4;
deny  all;
auth_basic “C1G_ADMIN”;
auth_basic_user_file htpasswd;

最后欢迎大家访问我的个人网站：1024s