Docker-compose容器编排，consul群集添加Compose-template

一、Docker Compose容器编排
1、Docker Compose概念及作用
Docker Compose 的前身是Fig，它是一个定义及运行多个容器的工具
使用Docker Compose不再需要使用shell脚本来启动容器
通过Docker Compose可以使用YML文件来配置应用程序所需要的的所有服务
Docker Compose非常适合组合使用多个容器进行开发的场景

2、YML文件介绍
YAML是一种标记语言很直观的数据序列化格式，非常适合用来表达或者编辑数据结构、各种配置文件、文件大纲等，例如：许多电子邮件标题格式和YAML非常接近。

3、 文件格式以及编写注意事项
1.不支持制表符tab键缩进，需要使用空格缩进，使用缩进表示层级关系
2.通常开头缩进2个空格，缩进的空格数不重要，只要相同层级的元素左对齐即可
3.字符后缩进一个空格，如冒号、逗号、横杆
4.用#号注释
5.如果包含特殊字符用单引号引起来
6.布尔值必须用引号括起来

4、compose使用的三个步骤
1.使用Dockerfile定义应用程序的环境
2.使用docker-compose.yml定义构成应用程序的服务，这样它们可以在隔离环境中一起运行
3.最后执行docker-compose up命令来启动并运行整个应用程序

5、Docker Compose配置常用字段

字段	描述
build dockerfile context	指定Dockerfile文件名构建镜像上下文路径
image	指定镜像
command	执行命令，覆盖默认命令
container name	指定容器名称，由于容器名称是唯一的，如果指定自定义名称，则无法scale
deploy	指定部署和运行服务相关配置，只能在swarm模式适用
environment	添加环境变量
networks	加入网络
ports	暴露容器端口，与-p相同，但端口不能低于60暴露容器端口
volumes	挂载宿主机路径或命令卷
restart	重启策略，默认no,always,no-failure,unless-stoped
hostname	容器主机名

6、Docker Compose常用命令
基本的命令格式：docker-compose [选项] [命令] [参数]
docker-compose选项:

字段	解释
build	重新构建服务
ps	列出容器
up	创建和启动容器
exec	在容器里面执行命令
scale	指定一个服务容器启动数量
top	显示容器进程
logs	查看容器输出
down	删除容器、网络、数据卷和镜像
stop/start/restart	停止/启动/重启服务

7、使用Docker-Compose创建nginx
1.环境准备
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-uname -s-uname -m -o /usr/local/bin/docker-compose
‘//在Linux上我们可以从GitHub上下载它的二进制包来使用，此命令是下载Docker Compose的当前稳定版本’

//将已下载好的包上传进来/usr/local/bin/
chmod +x /usr/local/bin/docker-compose
2.使用Dockerfile定义应用程序的环境

mkdir -p compose_nginx/nginx	//创建目录
cd compose_nginx/nginx
//上传nginx源码包
cat >> Dockerfile 
#基于基础镜像
FROM paigeeworld/centos7
#用户信息
MAINTAINER cuiwangfeng
#添加环境包
RUN rpm --rebuilddb && yum -y update
RUN rpm --rebuilddb && yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
#下载nginx软件包
ADD nginx-1.15.9.tar.gz /usr/local/src
#指定工作目录
WORKDIR /usr/local/src/nginx-1.15.9
#编译安装
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
#设置环境变量
ENV PATH /usr/local/nginx/sbin:$PATH
#指定http和https端口
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf
#添加宿主机中run.sh到容器中
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]

3、运行脚本

vim run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx

4、docker-compose.yml文件编写
注意事项：
1、compose版本号、服务标识符必须顶格写
2、属性名与属性值以:（冒号加空格）分隔开
3、层级使用两个空格表示
4、服务属性使用-（空格空格-空格）表示

vim docker-compose.yml
cat >> docker-compose.yml 
version: '3'		'//compose版本号'
services:			'//服务标识符'
  nginx:			'//子服务名'
    hostname: nginx
    build:
      context: ./nginx
      dockerfile: Dockerfile
    ports:			'//服务端口属性'
     - 1216:80
     - 1217:443
    networks:			'//网络服务属性'
     - Cui
    volumes:			'//挂载一个目录或者一个已存在的数据卷容器'
     - ./wwwroot:/usr/local/nginx/html
networks:
  Cui:

docker-compose -f docker-compose.yml up -d
指定ocker-compose.yml文件来启动
5、查看

root@localhost ~]# docker ps -a
CONTAINER ID        IMAGE                 COMMAND             CREATED             STATUS              PORTS                                         NAMES
8cb113c33b29        compose_nginx_nginx   "/run.sh"           3 hours ago         Up 3 hours          0.0.0.0:1216->80/tcp, 0.0.0.0:1217->443/tcp   compose_nginx_nginx_1

6、测试
ls //查看
/wwwroot //有这个目录
echo “this is wjsb!!1” >>wwwroot/index.html
浏览器访问20.0.0.60:1216

[root@localhost ~]# cd compose_nginx/
[root@localhost compose_nginx]# ll
总用量 964
-rw-r--r--. 1 root root    308 11月 30 11:58 docker-compose.yml

二、consul概念与作用
consul是HashiCorp公司推出使用go语言编写的开源工具，用于实现分布式系统的服务发现与配置

特性：
1、consul支持健康检查，允许存储键值对
2、一致性协议采用Raft算法，用来保证服务的高可用
3、成员管理和消息广播采用GOSSIP协议，支持ACL访问控制
4、方便部署，与Docker等轻量级容器可无缝配合

1、 基于nginx和consul构建高可用及自动发现的Docker服务架构

基于Docker完成的，然后将consul、consul template、registrator和nginx组装成一个值得信任且可扩展的服务框架，此架构可以灵活的、不需要重启任何服务、不需要重写任何配置的添加和移除服务

consul template	配置文件模板
registrator	注册机制
consul server	consul服务

例如：当后方增加了一个容器时，容器会注册registrator，registrator发现增加了一个容器的时候，会通知consul server要更新，consul server使用consul template模板更新

2、Docker consul自动发现服务架构的构建
实验环境及要求：
1、每个提供服务的节点上都要部署和运行consul的agent
2、consul agent有两种运行模式：server和client
3、server和client只是consul集群层面的区分，与搭建在cluster之上的应用服务无关
4、关闭防火墙、关闭核心防护

名称	地址	安装软件
consul服务器	20.0.0.60	Docker-ce、Consul
nginx服务器	20.0.0.40	Docker-ce、registrator

3、在主节点上部署consul

cd /consul/
//上传压缩包
unzip consul_0.9.2_linux_amd64.zip -d /usr/bin
consul agent \	'//设置代理'
> -server \	'//服务功能'
> -bootstrap \	'//参与选举'
> -ui \	'//提供web界面'
> -data-dir=/var/lib/consul-data \	'//提供一个代理存储数据目录'
> -bind=20.0.0.60 \	'//绑定本地地址'
> -client=0.0.0.0 \	'//面对的客户端地址'
> -node=consul-server01 &> /var/log/consul.log&	' //定义节点名称，日志混合输出到log，并且放到后台运行'
jobs
consul members
//查看集群信息
consul info |grep leader
//查看管理信息
leader = true
	leader_addr = 20.0.0.60:8300

4、通过HTTP api获取集群信息

curl 127.0.0.1:8500/v1/status/peers		 '/查看集群server成员'
curl 127.0.0.1:8500/v1/status/leaders 		'//查看集群Raf leader'
curl 127.0.0.1:8500/v1/catalog/services	 '//查看注册的所有服务'
curl 127.0.0.1:8500/v1/catalog/nginx 		'//查看nginx服务的信息'
curl 127.0.0.1:8500/v1/catalog/nodes  		 '//集群节点详细信息'

5、nginx服务器上连接consul，创建nginx容器服务

docker run -d \
> --name=registrator \        //定义容器名称
> --net=host \                定义网络
> -v /var/run/docker.sock:/tmp/docker.sock \       指定数据卷，存储信息
> --restart=always \    
> gliderlabs/registrator:latest \                定义镜像
> -ip=20.0.0.40 \                           指定本地地址
> consul://20.0.0.60:8500                   指定consul管理节点地址、端口

6、 创建容器，用来测试服务发现功能是否正常

docker run -itd -p 83:80 --name test-01 -h test01 nginx
docker run -itd -p 84:80 --name test-02 -h test02 nginx
docker run -itd -p 85:80 --name test-03 -h test03 httpd
docker run -itd -p 86:80 --name test-04 -h test04 httpd

7、查看容器

[root@localhost ~]# docker ps -a
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                NAMES
9cb27854e9a1        httpd                           "httpd-foreground"       6 minutes ago       Up 6 minutes        0.0.0.0:86->80/tcp   test-04
e97d491bf43a        httpd                           "httpd-foreground"       6 minutes ago       Up 6 minutes        0.0.0.0:85->80/tcp   test-03
05e77d9d9d4c        nginx                           "/docker-entrypoint.…"   7 minutes ago       Up 7 minutes        0.0.0.0:84->80/tcp   test-02
754254cd45d4        nginx                           "/docker-entrypoint.…"   8 minutes ago       Up 8 minutes        0.0.0.0:83->80/tcp   test-01
a46e2c95514a        gliderlabs/registrator:latest   "/bin/registrator -i…"   10 minutes ago      Up 10 minutes                            registrator

8、测试20.0.0.60：8500

9、consul集群添加Compose-template，实现容器自动加入Nginx集群
Compose-template介绍
compose-template是一个守护进程，用于实时查询consul集群信息
并且运维人员可以在consul服务器上，定制任意的模板，生成配置文件
compose可以查询consul中的服务目录、key、key-values等
这种强大的抽象功能和查询语言模板使得consul-template特别适合动态的创建配置文件，也就是自动化增加服务
例如：创建apache/nginx proxy balacers、haproxy backends

1.实验过程
主节点安装consul-template，准备模板文件

'//上传consul-template软件包'
unzip consul-template_0.19.3_linux_amd64.zip -d /usr/bin

主节点编写template nginx模板文件
此模板用于nginx反向代理模板
nginx.ctmpl跟nginx没有直接关系，
consul是docker的一种自动管理机制
nginx.ctmpl中的参数以变量的形式写入

cd /consul
mkdir /var/log/nginx
cat >> nginx.ctmpl 
upstream http_backend {		'//四层转发，upstream模块，也能7层转发。LVS四层转发'
   {{range service "nginx"}}
    server {{.Address}}:{{.Port}};	'//变量双{}括起来'
     {{end}}
}

server {
  listen 88;	'//监听端口'
  server_name localhost 20.0.0.60;	'//本地地址'
  access_log /var/log/nginx/tang.cn-access.log;
  index index.html index.php;		'//默认首页类型'
  location / {
    proxy_set_header HOST $host;		'//主机头信息'
    proxy_set_header X-Real-IP $remote_addr;	
    '//内置变量，请求者的地址（远端客户端）'
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;		'//转发地址段落，本地反向代理路径'
    proxy_pass http://http_backend;	'//反向代理模块'
  }
}

主节点编译安装nginx

yum install gcc gcc-c++ make expat* pcre* perl* zlib* -y
'//安装环境'	
'//上传源码包并编译'
tar zxf nginx-1.15.9.tar.gz 
cd nginx-1.15.9
./configure --prefix=/usr/local/nginx
make -j3 && make install -j3
mkdir /usr/local/nginx/conf/vhost/
'//创建虚拟主机目录'
vim /usr/local/nginx/conf/nginx.conf
'//编辑配置文件，添加目录'
#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
   worker_connections  1024;
}
http {
   include       mime.types;
   include vhost/*.conf;	'//添加路径'
   default_type  application/octet-stream;
   ...省略内容

/usr/local/nginx/sbin/nginx	'/启动nginx'
netstat -natp |  grep nginx

启动template,指定template模板文件及生成路径

consul-template -consul-addr 20.0.0.60:8500 \
-template "/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/tang.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info
'//指定模板路径，/consul/nginx.ctmpl，生成到/usr/locla/nginx/conf/vhost/tang.conf，然后重载nginx -s reload'
接下来会进入监控状态

主节点重新打开终端查看产生的配置文件

vim /usr/local/nginx/conf/vhost/tang.conf 
upstream http_backend {
    server 20.0.0.40:84;	'//能够通过consul自动发现nginx服务器的IP地址与端口'
    server 20.0.0.40:83;
}

server {
  listen 88;
  server_name localhost 20.0.0.60;
  access_log /var/log/nginx/tang.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For    			$proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

客户端浏览器测试，结合nginx服务器日志验证

docker logs -f test-01	
'//nginx服务器动态查看test-01日志'
docker logs -f test-02	
'//重新打开终端，动态查看test-02日志'

浏览器使用20.0.0.40:88访问，查看日志会发现是轮询出现的

'//测试consul-template自动在线更新'
docker run -itd --name test-05 -p 89:80 -h test05 nginx
'//nginx服务器添加一个容器'
cat /usr/local/nginx/conf/vhost/tang.conf 
upstream http_backend {
   
    server 20.0.0.40:84;
     
    server 20.0.0.40:89;
     
    server 20.0.0.40:83;
     
}