Nginx模块负载均衡原理源码分析

21 篇文章 2 订阅

一 简介

负载均衡是nginx非常重要的一项功能。在http和stream模块中也起着很重要的作用。两个模块中负载均衡工作的原理基本是一致的。下面,我们通过分析stream模块中负载均衡工作的原理,来深入理解nginx中负载均衡工作的原理。

二 配置使用

无论是http还是stream模块,都可以通过如下的配置语法把某一个服务和上游服务器关联起来。

   upstream vpnftp {

        server 10.250.11.185:21;

        server 10.250.16.133:21;

   }

  server {

        listen 60.60.60.77:2121;

        proxy_timeout 65534;

        proxy_pass vpnftp;

        alg ftp;

 }

上述的配置会把连接到地址60.60.60.77 端口是2121的连接通过特定负载均衡算法 反向代理到vpnftp定义的服务器中。

如果proxy_pass后面直接跟一个具体的服务器的地址和端口,则所有的请求都会发送到proxy_pass后面指定的服务器中。

 server {

        listen 60.60.60.77:2121;

        proxy_timeout 65534;

        proxy_pass 10.250.16.133:21;

        alg ftp;

 }

三 负载均衡种类

Nginx开源版本支持4种基本的负载均衡算法。

轮询 (round robin)

这是Nginx默认使用的负载均衡算法。每个请求会按时间顺序逐一分配到不同的后端服务器。

有如下参数:

fail_timeout:与max_fails结合使用。

max_fails:  设置在fail_timeout参数设置的时间内最大失败次数,在这段时间内,如果所有针对该服务器的请求都失败了,那么该服务器会被认为是停机了。

fail_time:服务器会被认为停机的时间长度,默认为10s。

backup: 标记该服务器为备用服务器。当主服务器停止时,请求会被发送到它这里。

down:  标记服务器永久停机了。

  • 在轮询中,如果服务器down掉了,会自动剔除该服务器。
  • 缺省配置就是轮询策略。
  • 此策略适合服务器配置相当,无状态且短平快的服务使用。

权重 (weight)

权重方式,在轮询策略的基础上指定轮询的几率。例子如下:

    upstream dynamic_zuoyu {

        server localhost:8080   weight=2;  

        server localhost:8081;  

        server localhost:8082   backup;  

        server localhost:8083   max_fails=3 fail_timeout=20s;  

    }

在该例子中,weight参数用于指定轮询几率,weight的默认值为1,;weight的数值与访问比率成正比,比如第一个服务器被访问的几率为其他服务器的两倍。

  • 权重越高分配到需要处理的请求越多。
  • 此策略可以与least_conn和ip_hash结合使用。
  • 此策略比较适合服务器的硬件配置差别比较大的情况。

地址hash (ip_hash)

指定负载均衡器按照基于客户端IP的分配方式,这个方法确保了相同的客户端的请求一直发送到相同的服务器,以保证session会话。这样每个访客都固定访问一个后端服务器,可以解决session不能跨服务器的问题。

    upstream hash {

        ip_hash;   

        server localhost:8080   weight=2;  

        server localhost:8081

        server localhost:8082

        server localhost:8083   max_fails=3 fail_timeout=20s;  

    }

  • nginx版本1.3.1之前,不能在ip_hash中使用权重(weight)。
  • ip_hash不能与backup同时使用。
  • 此策略适合有状态服务,比如session
  • 当有服务器需要剔除,必须手动down掉。

最小连接 (least_conn)

把请求转发给连接数较少的后端服务器。轮询算法是把请求平均的转发给各个后端,使它们的负载大致相同;但是,有些请求占用的时间很长,会导致其所在的后端负载较高。这种情况下,least_conn这种方式就可以达到更好的负载均衡效果。

    upstream least_conn {

        least_conn;   

        server localhost:8080   weight=2

        server localhost:8081;  

        server localhost:8082 backup; 

        server localhost:8083   max_fails=3 fail_timeout=20s; 

    }

  注意:

  • 此负载均衡策略适合请求处理时间长短不一造成服务器过载的情况。

四 代码实现

控制平面

  • 在配置解析过程中,函数ngx_stream_upstream会解析upstream语法并且生成upstream的数据结构ngx_stream_upstream_srv_conf_t。函数ngx_stream_upstream_server会解析server语法并且生成数据结构ngx_stream_upstream_server_t存放到upstream结构中的servers数组中。
  •  在解析upstream的负载均衡算法时,会把upstream结构ngx_stream_upstream_srv_conf_t中的peer成员的init_upstream函数指针进行初始化。对于least_connection对应的函数指针是ngx_stream_upstream_init_least_conn,random算法对应的函数指针是ngx_stream_upstream_init_random, round robin算法对应的函数指针是ngx_stream_upstream_init_round_robin.
  • 在stream模块的ngx_stream_upstream_init_main_conf函数中,会调用所有的upstream对应的init_upstream函数进行upstream的初始化。初始化过程中 会设置upstream结构peer.init 比如对于round robin算法,peer.init函数就是ngx_stream_upstream_init_round_robin_peer,random算法是ngx_stream_upstream_init_random_peer。同时生成ngx_stream_upstream_rr_peers_t结构。生成ngx_stream_upstream_rr_peers_t结构的流程是解析配置的upstream中的所有的server,然后生成server对应的sockaddr信息存放到ngx_stream_upstream_rr_peers_t结构中的peer链表里。至此生成的数据结构如图:

 

 

数据平面

  • 当新的连接到来,通过ngx_stream_init_connection函数初始化和downstream的连接。然后再运行core phase的handler函数,ngx_stream_proxy_handler函数被调用。
  • 上述控制平面设置的peer.init函数在ngx_stream_proxy_handler函数中被调用。peer.init函数用来初始化ngx_stream_connection结构中ngx_stream_upstream_s成员的peer成员。其中peer的data中的peers成员指向init_upstream函数生成的ngx_stream_upstream_rr_peers_t结构。这个结构是所有的连接所共用的数据结构。同时对peer成员的get,free,notify函数指针进行 赋值。对于round robin算法来说,对应的get,free,notify函数分别是ngx_stream_upstream_get_round_robin_peer  ngx_stream_upstream_free_round_robin_peer ngx_stream_upstream_notify_round_robin_peer.
  • 其中,get函数在是负载均衡的核心函数用来选取合适的upstream server进行连接。函数ngx_stream_proxy_handler会调用ngx_stream_proxy_connect 函数,ngx_stream_proxy_connect函数会调用ngx_event_connect_peer去选取合适的upstream server进行连接。其中get函数就是在ngx_event_connect_peer函数中得到调用的。
  • free函数是在和选中的upstream 连接结束以后,释放资源使用的。
  • notify函数是在对upstream进行初始化的ngx_stream_proxy_init_upstream函数中被调用的。

 

最终, upstream相关的数据结构和server以及stream session之间的关系如下图所示。 我们可以看到ngx_stream_upstream_rr_peers_t结构是所有的upstream连接共有的。在多进程里面的所有的连接在进行负载均衡选择服务器时,通过读写锁共享相同的数据。

 

五 结语

负载均衡是nginx中非常重要的功能。通过分析stream模块中的负载均衡的使用,原理和实现,我们可以更深入地理解nginx的代码。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值