Nginx容器动态流量管理方案-nginx-upsync-module+nginx_upstream_check_module初体验

缘起

最近一直在研究日志收集系统的框架，之前在线游戏的数据发送都是由游戏服务器发送的，我来之前一直是rsync传输，也还算稳定。但现在上了单机游戏，只能由手机客户端直接发送，dau比较高，最近很火的<<贪吃蛇>>在海外上线，一个星期dau已经达到千万级别。初步方案，lvs做４层负载均衡，下挂nginx做7层转发，数据直接入kafaka。一直不太喜欢通过reload修改nginx upstream，刚好看到微博的upsync觉得很有价值，于是拿来研究了一下。

感兴趣的童鞋可以看下这篇文章http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=404151075&idx=1&sn=5f3b8c007981a2d048766f808f8c8c98&scene=2&srcid=0223XScbJrOv7noogVX6T60Q&from=timeline&isappinstalled=0#wechat_redirect（Upsync：微博开源基于Nginx容器动态流量管理方案 ）

consul

upsync的upstream可以从consul(https://www.consul.io/intro/getting-started/install.html)或etcd中获取，本文使用的是consul这个用golang写的服务注册与发现框架，据我所知consul在国内也用的非常广，比如微博，今日头条等。所以需要先安装consul，consul的getting-started文档用vagrant（https://www.vagrantup.com/docs/getting-started/）搭建集群的，vagrant是用ruby开发的用来构建虚拟开发环境的工具，有点类似docker，不过vagrant是依赖与虚拟机的，比如virtualbox

下面是我ubuntu主机安装操作：
１．安装virtualbox和vagrant

sudo apt-get install virtualbox
wget https://releases.hashicorp.com/vagrant/1.8.6/vagrant_1.8.6_x86_64.deb
sudo dpkg -i vagrant_1.8.6_x86_64.deb

2.下载vagrant镜像
由于hashicorp下载太慢，我是在百度云(https://pan.baidu.com/s/1pLzVhnP)上找的一个ubuntu_trusty_64.box镜像。

vagrant box add ubuntu ~/vagrant_start/ubuntu_trusty_64.box

把ubuntu_trusty_64.box加载到vagrant中，并命名为ubuntu

3.创建Vagrantfile
在当前目录下创建Vagrantfile，类似于dockerfile

# -*- mode: ruby -*-
# vi: set ft=ruby :
$script = <<SCRIPT

echo Installing dependencies...
sudo apt-get update
sudo apt-get install -y unzip curl

echo Fetching Consul...
cd /tmp/
curl https://releases.hashicorp.com/consul/0.6.4/consul_0.6.4_linux_amd64.zip -o consul.zip

echo Installing Consul...
unzip consul.zip
sudo chmod +x consul
sudo mv consul /usr/bin/consul

sudo mkdir /etc/consul.d