高并发与高可用实战（三）Nginx高级

Http动态负载均衡

什么是动态负载均衡

传统的负载均衡，如果Upstream参数发生变化，每次都需要重新加载nginx.conf文件,

因此扩展性不是很高，所以我们可以采用动态负载均衡，实现Upstream可配置化、动态化，无需人工重新加载nginx.conf。

这类似分布式的配置中心

 

动态负载均衡实现方案

 

1. Consul+Consul-template 

每次发现配置更改需要raload nginx，重启Nginx。

1. Consul+OpenResty 实现无需raload动态负载均衡
2. Consul+upsync+Nginx  实现无需raload动态负载均衡

常用服务器注册与发现框架

 常见服务发现框架 Consul、Eureka、 ZooKeeper以及Etcd  ZooKeeper是这种类型的项目中历史最悠久的之一，它起源于Hadoop。它非常成熟、可靠，被许多大公司（YouTube、eBay、雅虎等）使用。

     etcd是一个采用HTTP协议的健/值对存储系统，它是一个分布式和功能层次配置系统，可用于构建服务发现系统。其很容易部署、安装和使用，提供了可靠的数据持久化特性。它是安全的并且文档也十分齐全。

Consul快速入门

Consul是一款开源的分布式服务注册与发现系统，通过HTTP API可以使得服务注册、发现实现起来非常简单，它支持如下特性。

服务注册：服务实现者可以通过HTTP API或DNS方式，将服务注册到Consul。

服务发现：服务消费者可以通过HTTP API或DNS方式，从Consul获取服务的IP和PORT。

故障检测：支持如TCP、HTTP等方式的健康检查机制，从而当服务有故障时自动摘除。

K/V存储：使用K/V存储实现动态配置中心，其使用HTTP长轮询实现变更触发和配置更改。

多数据中心：支持多数据中心，可以按照数据中心注册和发现服务，即支持只消费本地机房服务，使用多数据中心集群还可以避免单数据中心的单点故障。

Raft算法：Consul使用Raft算法实现集群数据一致性。

通过Consul可以管理服务注册与发现，接下来需要有一个与Nginx部署在同一台机器的Agent来实现Nginx配置更改和Nginx重启功能。我们有Confd或者Consul-template两个选择，而Consul-template是Consul官方提供的，我们就选择它了。其使用HTTP长轮询实现变更触发和配置更改（使用Consul的watch命令实现）。也就是说，我们使用Consul-template实现配置模板，然后拉取Consul配置渲染模板来生成Nginx实际配置。

Consul环境搭建

1.下载consul_0.7.5_linux_amd64.zip

wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip

2.解压consul_0.7.5_linux_amd64.zip

unzip consul_0.7.5_linux_amd64.zip

如果解压出现该错误

-bash: unzip: 未找到命令

解决办法

yum -y install unzip

3. 执行以下 ./consul 出现以下信息就说明安装成功

[root@localhost soft] ./consul usage: consul [--version] [--help] <command> [<args>] Available commands are:     agent          Runs a Consul agent     configtest     Validate config file     event          Fire a new event     exec           Executes a command on Consul nodes     force-leave    Forces a member of the cluster to enter the "left" state     info           Provides debugging information for operators     join           Tell Consul agent to join cluster     keygen         Generates a new encryption key     keyring        Manages gossip layer encryption keys     kv             Interact with the key-value store     leave          Gracefully leaves the Consul cluster and shuts down     lock           Execute a command holding a lock     maint          Controls node or service maintenance mode     members        Lists the members of a Consul cluster     monitor        Stream logs from a Consul agent     operator       Provides cluster-level tools for Consul operators     reload         Triggers the agent to reload configuration files     rtt            Estimates network round trip time between nodes     snapshot       Saves, restores and inspects snapshots of Consul server state     version        Prints the Consul version     watch          Watch for changes in Consul

4.启动consul

我的linux Ip地址192.168.212.131

./consul agent -dev -ui -node=consul-dev -client=192.168.212.131

5.临时关闭防火墙systemctl stop firewalld

6.浏览器访问192.168.212.131:8500

7.使用PostMan 注册Http服务

http://192.168.212.131:8500/v1/catalog/register

参数1

{"Datacenter": "dc1",  "Node":"tomcat", "Address":"192.168.5.165","Service": {"Id" :"192.168.5.165:8080", "Service": "itmayiedu","tags": ["dev"], "Port": 8080}}

参数2

{"Datacenter": "dc1", "Node":"tomcat", "Address":"192.168.5.165","Service": {"Id" :"192.168.5.165:8081", "Service": "itmayeidu","tags": ["dev"], "Port": 8081}}

 

Datacenter指定数据中心，Address指定服务IP，Service.Id指定服务唯一标识，Service.Service指定服务分组，Service.tags指定服务标签（如测试环境、预发环境等），Service.Port指定服务端口。

7.发现Http服务

http://192.168.212.131:8500/v1/catalog/service/item_jd_tomcat

nginx-upsync-module

注意：清除之前Nginx环境，重新安装。

nginx-upsync-module简介

Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB，利用Consul的KV服务，每个Nginx Work进程独立的去拉取各个upstream的配置，并更新各自的路由。

nginx-upsync-module安装

下载文件

1. 安装Nginx

wget http://nginx.org/download/nginx-1.9.10.tar.gz

     作用:实现反向代理、负载负载库

1. 安装consul

wget https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip

作用:对动态负载均衡均配置实现注册

1. 安装nginx-upsync-module

wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip

作用:nginx动态获取最新upstream信息

解压安装

unzip master.zip unzip consul_0.7.1_linux_amd64.zip

如果解压出现该错误

-bash: unzip: 未找到命令

解决办法

yum -y install unzip

安装Nginx

解压Nginx

tar -zxvf nginx-1.9.10.tar.gz

配置Nginx

groupadd nginx useradd -g nginx -s /sbin/nologin nginx mkdir -p /var/tmp/nginx/client/ mkdir -p /usr/local/nginx

编译Nginx

cd nginx-1.9.0   ./configure   --prefix=/usr/local/nginx   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --with-http_realip_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre --add-module=../nginx-upsync-module-master make && make install

编译的是报错

./configure: error: SSL modules require the OpenSSL library.

解决办法

yum -y install openssl openssl-devel

Upstream 动态配置

##动态去consul 获取注册的真实反向代理地址    upstream itmayiedu{         server 127.0.0.1:11111;         upsync 192.168.212.134:8500/v1/kv/upstreams/itmayiedu upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;         upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;     }       server {         listen       80;         server_name  localhost;           location / {             proxy_pass http://itmayiedu;             index  index.html index.htm;         }     }

 

upsync指令指定从consul哪个路径拉取上游服务器配置；upsync_timeout配置从consul拉取上游服务器配置的超时时间；upsync_interval配置从consul拉取上游服务器配置的间隔时间；upsync_type指定使用consul配置服务器；strong_dependency配置nginx在启动时是否强制依赖配置服务器，如果配置为on，则拉取配置失败时nginx启动同样失败。upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。

注意:替换 consul 注册中心地址

创建upsync_dump_path

mkdir /usr/local/nginx/conf/servers/

upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。

启动consul

临时关闭防火墙systemctl stop firewalld

我的linux Ip地址192.168.212.131

./consul agent -dev -ui -node=consul-dev -client=192.168.212.131

 

添加nginx  Upstream服务

1.使用linux命令方式发送put请求

curl -X PUT http://192.168.212.134:8500/v1/kv/upstreams/itmayiedu/192.168.212.1:8081

curl -X PUT http://192.168.212.134:8500/v1/kv/upstreams/itmayiedu/192.168.212.1:8081

2.使用postmen 发送put请求

http://192.168.212.134:8500/v1/kv/upstreams/itmayiedu/192.168.212.1:8081 http://192.168.212.134:8500/v1/kv/upstreams/itmayiedu/192.168.212.1:8081

负载均衡信息参数

{"weight":1, "max_fails":2, "fail_timeout":10, "down":0}

启动Nginx

Nginx

Nginx 基于1.9实现四层负载均衡

网络模型

Socket入门

什么是Socket？

Socket就是为网络服务提供的一种机制。

通讯的两端都有Sokcet

网络通讯其实就是Sokcet间的通讯

数据在两个Sokcet间通过IO传输。

TCP与UDP在概念上的区别：

udp: a、是面向无连接, 将数据及源的封装成数据包中,不需要建立连接

    b、每个数据报的大小在限制64k内

    c、因无连接,是不可靠协议

    d、不需要建立连接,速度快

tcp：

a、建议连接，形成传输数据的通道.

    b、在连接中进行大数据量传输，以字节流方式

    c 通过三次握手完成连接,是可靠协议

    d 必须建立连接m效率会稍低

Http协议组成部分

http协议基于TCP协议封装成超文本传输协议，http分为请求与响应，http协议分为请求参数和方法类型、请求头、请求体，响应分为 响应状态、响应头、响应体等。

四层负载均衡与七层负载均衡区别

四层负载均衡，在网络模型中的传输层中，基于主要是基于tcp协议报文实现负载均衡（比如LVS、haproxy就是四层负载均衡器），使用改写报文的源地址和目的地址。

七层负载均衡,在网络模型中应用层中，基于URL或者HTTP协议实现负载均衡，Web服务器。

环境准备

测试环境 CentOS7

Nginx1.9开始支持tcp层的转发，通过stream实现的，而socket也是基于tcp通信。

stream模块默认不安装的，需要手动添加参数：–with-stream，官方下载地址：download，根据自己系统版本选择nginx1.9或以上版本

./configure --add-module=../yaoweibin-nginx_tcp_proxy_module-121c026

安装软件

1.安装Nginx

wget http://nginx.org/download/nginx-1.9.10.tar.gz

  作用:实现反向代理、负载负载库

2.安装nginx_tcp_proxy_module 插件

wget https://github.com/yaoweibin/nginx_tcp_proxy_module/tarball/master

  tar -zxvf master

nginx 支持TCP转发和负载均衡的支持

编译Nginx

编译Nginx

1.解压nginx文件

tar -zxvf nginx-1.9.10.tar.gz

2.进入到Nginx目录

cd nginx-1.9.10

3.下载tcp.patch最新补丁

patch -p1 <  ../yaoweibin-nginx_tcp_proxy_module-121c026/tcp.patch

如果报错

-bash: patch: 未找到命令 执行 yum -y install patch 安装即可。

4.编译Nginx

./configure --add-module=../yaoweibin-nginx_tcp_proxy_module-121c026

5.make && make install

如果报错

In file included from ../nginx_tcp_proxy_module-master/ngx_tcp.h:32,

                 from ../nginx_tcp_proxy_module-master/ngx_tcp.c:5:

../nginx_tcp_proxy_module-master/ngx_tcp_upstream.h:144: error: expected specifier-qualifier-list before 'ngx_resolver_addr_t'

make[1]: *** [objs/addon/nginx_tcp_proxy_module-master/ngx_tcp.o] Error 1

make[1]: Leaving directory `/opt/apps_install/nginx-1.9.9'

make: *** [build] Error 2

 

修改第三方模块包里的头文件，ngx_tcp_upstream.h 144 行将ngx_resolver_addr_t 改为 ngx_addr_t

Cd /usr/local/yaoweibin-nginx_tcp_proxy_module-121c026

5.继续 make && make install

6.修改Nginx.conf配置文件

worker_processes  1; events {     worker_connections  1024; } ### 修改为TCP模块 tcp {       ### 定义多个上游服务器    upstream  itmayeidu{       ### 定义TCP模块上游服务器       server 192.168.5.165:80001;        server 192.168.5.165:80002;    }     server {         listen       9999;         server_name  192.168.212.137;          ### 反向代理upstream         proxy_pass itmayeidu;     } }