Nginx模块负载均衡原理源码分析

一 简介

负载均衡是nginx非常重要的一项功能。在http和stream模块中也起着很重要的作用。两个模块中负载均衡工作的原理基本是一致的。下面，我们通过分析stream模块中负载均衡工作的原理，来深入理解nginx中负载均衡工作的原理。

二 配置使用

无论是http还是stream模块，都可以通过如下的配置语法把某一个服务和上游服务器关联起来。

   upstream vpnftp {

        server 10.250.11.185:21;

        server 10.250.16.133:21;

   }

  server {

        listen 60.60.60.77:2121;

        proxy_timeout 65534;

        proxy_pass vpnftp;

        alg ftp;

 }

上述的配置会把连接到地址60.60.60.77 端口是2121的连接通过特定负载均衡算法 反向代理到vpnftp定义的服务器中。

如果proxy_pass后面直接跟一个具体的服务器的地址和端口，则所有的请求都会发送到proxy_pass后面指定的服务器中。

 server {

        listen 60.60.60.77:2121;

        proxy_timeout 65534;

        proxy_pass 10.250.16.133:21;

        alg ftp;

 }

三 负载均衡种类

Nginx开源版本支持4种基本的负载均衡算法。

轮询 （round robin）

这是Nginx默认使用的负载均衡算法。每个请求会按时间顺序逐一分配到不同的后端服务器。、

有如下参数：

fail_timeout：与max_fails结合使用。

max_fails:  设置在fail_timeout参数设置的时间内最大失败次数，在这段时间内，如果所有针对该服务器的请求都失败了，那么该服务器会被认为是停机了。

fail_time：服务器会被认为停机的时间长度,默认为10s。

backup: 标记该服务器为备用服务器。当主服务器停止时，请求会被发送到它这里。

down:  标记服务器永久停机了。

• 在轮询中，如果服务器down掉了，会自动剔除该服务器。
• 缺省配置就是轮询策略。
• 此策略适合服务器配置相当，无状态且短平快的服务使用。

权重 （weight）

权重方式，在轮询策略的基础上指定轮询的几率。例子如下：、

    upstream dynamic_zuoyu {

        server localhost:8080   weight=2;  

        server localhost:8081;  

        server localhost:8082   backup;  

        server localhost:8083   max_fails=3 fail_timeout=20s;  

    }

在该例子中，weight参数用于指定轮询几率，weight的默认值为1,；weight的数值与访问比率成正比，比如第一个服务器被访问的几率为其他服务器的两倍。

• 权重越高分配到需要处理的请求越多。
• 此策略可以与least_conn和ip_hash结合使用。
• 此策略比较适合服务器的硬件配置差别比较大的情况。

地址hash (ip_hash)

指定负载均衡器按照基于客户端IP的分配方式，这个方法确保了相同的客户端的请求一直发送到相同的服务器，以保证session会话。这样每个访客都固定访问一个后端服务器，可以解决session不能跨服务器的问题。

    upstream hash {

        ip_hash;   

        server localhost:8080   weight=2;  

        server localhost:8081; 

        server localhost:8082; 

        server localhost:8083   max_fails=3 fail_timeout=20s;  

    }

• 在nginx版本1.3.1之前，不能在ip_hash中使用权重（weight）。
• ip_hash不能与backup同时使用。
• 此策略适合有状态服务，比如session。
• 当有服务器需要剔除，必须手动down掉。

最小连接 （least_conn）

把请求转发给连接数较少的后端服务器。轮询算法是把请求平均的转发给各个后端，使它们的负载大致相同；但是，有些请求占用的时间很长，会导致其所在的后端负载较高。这种情况下，least_conn这种方式就可以达到更好的负载均衡效果。

    upstream least_conn {

        least_conn;   

        server localhost:8080   weight=2; 

        server localhost:8081;  

        server localhost:8082 backup; 

        server localhost:8083   max_fails=3 fail_timeout=20s; 

    }

　　注意：

• 此负载均衡策略适合请求处理时间长短不一造成服务器过载的情况。

四 代码实现

控制平面

• 在配置解析过程中，函数ngx_stream_upstream会解析upstream语法并且生成upstream的数据结构ngx_stream_upstream_srv_conf_t。函数ngx_stream_upstream_server会解析server语法并且生成数据结构ngx_stream_upstream_server_t存放到upstream结构中的servers数组中。
•  在解析upstream的负载均衡算法时，会把upstream结构ngx_stream_upstream_srv_conf_t中的peer成员的init_upstream函数指针进行初始化。对于least_connection对应的函数指针是ngx_stream_upstream_init_least_conn，random算法对应的函数指针是ngx_stream_upstream_init_random, round robin算法对应的函数指针是ngx_stream_upstream_init_round_robin.
• 在stream模块的ngx_stream_upstream_init_main_conf函数中，会调用所有的upstream对应的init_upstream函数进行upstream的初始化。初始化过程中 会设置upstream结构peer.init 比如对于round robin算法，peer.init函数就是ngx_stream_upstream_init_round_robin_peer，random算法是ngx_stream_upstream_init_random_peer。同时生成ngx_stream_upstream_rr_peers_t结构。生成ngx_stream_upstream_rr_peers_t结构的流程是解析配置的upstream中的所有的server，然后生成server对应的sockaddr信息存放到ngx_stream_upstream_rr_peers_t结构中的peer链表里。至此生成的数据结构如图：

 

 

数据平面

• 当新的连接到来，通过ngx_stream_init_connection函数初始化和downstream的连接。然后再运行core phase的handler函数，ngx_stream_proxy_handler函数被调用。
• 上述控制平面设置的peer.init函数在ngx_stream_proxy_handler函数中被调用。peer.init函数用来初始化ngx_stream_connection结构中ngx_stream_upstream_s成员的peer成员。其中peer的data中的peers成员指向init_upstream函数生成的ngx_stream_upstream_rr_peers_t结构。这个结构是所有的连接所共用的数据结构。同时对peer成员的get,free,notify函数指针进行 赋值。对于round robin算法来说，对应的get,free,notify函数分别是ngx_stream_upstream_get_round_robin_peer  ngx_stream_upstream_free_round_robin_peer ngx_stream_upstream_notify_round_robin_peer.
• 其中，get函数在是负载均衡的核心函数用来选取合适的upstream server进行连接。函数ngx_stream_proxy_handler会调用ngx_stream_proxy_connect 函数，ngx_stream_proxy_connect函数会调用ngx_event_connect_peer去选取合适的upstream server进行连接。其中get函数就是在ngx_event_connect_peer函数中得到调用的。
• free函数是在和选中的upstream 连接结束以后，释放资源使用的。
• notify函数是在对upstream进行初始化的ngx_stream_proxy_init_upstream函数中被调用的。

 

最终, upstream相关的数据结构和server以及stream session之间的关系如下图所示。 我们可以看到ngx_stream_upstream_rr_peers_t结构是所有的upstream连接共有的。在多进程里面的所有的连接在进行负载均衡选择服务器时，通过读写锁共享相同的数据。

 

五 结语

负载均衡是nginx中非常重要的功能。通过分析stream模块中的负载均衡的使用，原理和实现，我们可以更深入地理解nginx的代码。