docker-compose和Consul

1. 案例概述

某公司提出一个新需求，使用Docker将Consul、Consul Template、Registrator和 Nginx组装成一个值得信任且可扩展的服务框架，可在这个框架中添加和移除服务，不需要重写任何配置，也不需要重启任何服务，一切都能正常运行

1.1 案例前置知识点

1.1.1 Docker Compose

Docker Compose的前身是Fig,它是一个定义及运行多个Docker容器的工具
使用Docker Compose不再需要使用Shell脚本来启动容器
Docker Compose非常适合组合使用多个容器进行开发的场景

1.1.2 Consul

Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置
Consul的特性
●支持健康检查，允许存储键值对
●基于Golong语言，可移植性强
●支持ACL访问控制
与Docker等轻量级容器可无缝配合

注意点：内部网络是docker网桥 docker0相当于交换机

2. Docker的网络通信

2.1 端口映射

●端口映射机制将容器内的服务提供给外部网络访问
●可随机或指定映射端口范围

docker run -d -P httpd:centos
docker run -d -p 49888:80 httpd:centos

2.2 容器互联

●在源容器和接收容器间建立一条网络通信隧道
●使用docker run命令–link选项实现容器间互联通信
实现容器互联

docker run -d -P --name web1 httpd:centos
docker run -d -P --name web2 --link web1:web1
httpd:centos
docker exec -it web2 /bin/bash
ping web1

3. Docker Compose容器编排

3.1 Docker Compose环境安装

[root@localhost ~]# curl -L
https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m`-o
/usr/local/bin/docker-compose
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose
[root@localhost ~]# docker-compose -v
Docker Compose文件结构
[root@localhost compose_Inmp]# vim docker-compose.yml

3.2 YAML

YAML是一种标记语言很直观的数据序列化格式
文件格式及编写注意事项
●不支持制表符tab键缩进，需要使用空格缩进
●通常开头缩进2个空格
●字符后缩进1个空格，如冒号、逗号、横杆
●用#号注释
●如果包含特殊字符用单引号引起来
●布尔值必须用引号括起来 ture真：成立 false假：不成立 boolean 要么true要么false

3.3 Docker Compose配置常用字段

字段	描述
build dockerfile context	指定Dockerfile文件名构建镜像上下文路径
image	指定镜像
command	执行命令，覆盖默认命令
container name	指定容器名称，由于容器名称是唯一的，如果指定自定义名称，则无法scale
deploy	指定部署和运行服务相关配置，只能在Swarm模式使用
environment	添加环境变量
networks	加入网络
ports	暴露容器端口，与-p相同，但端口不能低于60
volumes	挂载宿主机路径或命令卷
restart	重启策略，默认no,always,no-failure,unless-stoped
hostname	容器主机名

3.4 Docker Compose常用命令

字段	描述
build	重新构建服务
ps	列出容器
up	创建和启动容器
exec	在容器里面执行命令
scale	指定一个服务容器启动数量
top	显示容器进程
logs	查看容器输出
down	删除容器、网络、数据卷和镜像

stop/start/restart 停止/启动/重启服务

3.5 Compose命令说明

■基本的使用格式

docker-compose [options] [COMMAND][ARGS...]

■docker-compose选项
●–verbose输出更多调试信息
●–version打印版本并退出
●-f，–file FILE使用特定的compose模板文件，默认为docker-compose.yml
●-p,–project-name NAME指定项目名称，默认使用目录名称

4. 构建自动发现的Docker服务架构

4.1 建立Consul服务

●每个提供服务的节点上都要部署和运行Consul的agent
Consul agent有两种运行模式
Server
Client
Server和Client只是Consul集群层面的区分，与搭建在
Cluster之上的应用服务无关

[root@localhost ~]# cd consul/
[root@localhost consul]# unzip consul_0.9.2_linux_amd64.zip
[root@localhost consul]# mv consul /usr/binl
[root@localhost ~]# consul agent \
> -server \
> -bootstrap \
> -ui \
> -data-dir=/var/liblconsul-data 
> -bind=192.168.168.91 \
>-client=0.0.0.0 \
>-node=consurl-server01

4.2 查看集群信息

[root@localhost ~]# consul members
[root@localhost ~]# consul info | grep leader
通过http api获取集群信息
[root@localhost ~]# curl 127.0.0.1:8500/v1/status/peers
[root@localhost ~]# curl 127.0.0.1:8500/v1/status/leader
[root@localhost ~]# curl 127.0.0.1:8500/v1/catalog/services
[root@localhost ~j# curl 127.0.0.1:8500/v1/catalog/nginx
[root@localhost ~]# curl 127.0.0.1:8500/v1/catalog/nodes

5. 实现容器服务自动加入Nginx集群

5.1 安装gliderlabs/registrator

●检查容器运行状态
●自动注册和注销docker容器的服务到服务配置中心
在192.168.168.92节点操作
[root@localhost ~]# docker run -d \
> --name=registrator \
>--net=host \
> -v /var/run/docker.sock:/tmp/docker.sock \
>--restart=always \
> gliderlabs/registrator:latest \
>-ip=192.168.168.92\
>consul://192.168.168.91:8500
consul的服务端口是8500

5.2 测试服务发现功能是否正常

[root@localhost ~]# docker pull httpd
[root@localhost ~j# docker run -itd -p:83:80 --name test-O1 -htest01 nginx
[root@localhost ~]# docker run -itd -p:84:80 --name test-02 -htest02 nginx

验证http服务是否注册到consul

6. 实验步骤

创建Dockerfile目录
1.在目录中写Dockerfile文件
2.把Dockerfile文件中add部分涉及到的文件添加到dockerfile目录中
3.编写yaml文件
4.如果涉及到数据卷，则需要在数据卷目录中放入指定文件
5.docker-compose编排构建
6.使用docker ps -a 检查容器云运行状态
-----------------------------compose部署nginx---------------------

环境部署所有主机安装docker环境（内容为docker基础）
yum -y install docker-ce-y 
//下载compose
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
将docker-compose放进根目录下面
[root@localhost ~]# mv docker-compose /usr/local/bin/   ##系统可识别，全局可使用
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose   ##授权执行权限
[root@localhost ~]# cd compose_nginx/
[root@localhost compose_nginx ~]# mkdir nginx
[root@localhost compose_nginx ~]# cd nginx

[root@localhost nginx ~]# vim Dockerfile
FROM centos:7
MAINTAINER chen
RUN yum -y update
RUN yum -y install gcc gcc-c++ make pcre-devel zlib-devel  ##安装环境
RUN useradd -M -s /sbin/nologin nginx  ##创建程序账户
ADD nginx-1.15.9.tar.gz /opt  ###不仅能把压缩包解压，还能将压缩的内容一定到指定容器内的目录中
WORKDIR /opt   ##相当于cd 到opt 目录下
WORKDIR nginx-1.15.9  
RUN ./configure \   
--prefix=/usr/local/nginx \  ##配置文件目录
--user=nginx \    ##主用户
--group=nginx \ ##组用户
--with-http_stub_status_module && make && make install    ##编译安装
ENV PATH /usr/local/nginx/sbin:$PATH  ##环境变量
EXPOSE 80  ##http的端口
EXPOSE 443  ###https的端口
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf  ##守护服务要关闭，由容器本身提供
ADD run.sh /run.sh   ##移动run.sh到容器中
RUN chmod 755 /run.sh  ##给权限
CMD ["/run.sh"]   ##脚本启动时运行这个脚本

[root@localhost nginx ~]# vim run.sh
[root@localhost nginx]# vim run.sh 
#!/bin/bash
/usr/local/nginx/sbin/nginx  ##绝对路径启动nginx

最后将nginx-1.15.9.tar.gz压缩包放进nginx目录中
[root@localhost nginx ~]# cd .. ##回到上一层目录中
[root@localhost compose_nginx]# vim docker-compose.yml   ##编辑compose部署
version: '3'
services:
  nginx:   ###services:下面的子项，要缩进
    hostname: nginx    ###节点主机名称
    build:   ##创建
      context: ./nginx      ##详细内容   具体内容放在哪里
      dockerfile: Dockerfile   ##dockerfile文件中找Dockerfile
    ports:          ##涉及子参数  下面加- 后面又空格
     - 1216:80   ##http端口  映射
     - 1217:443  ##https端口
    networks:    ##网络空间，内部的
     - chen   ##名字自定义
    volumes:   ###数据卷
     - ./wwwroot:/usr/local/nginx/html   ##挂载
networks: ##节点网络名称
  chen:

注意点：固定语法，功能项后面的： 要带空格
参数数值 不需要加空格

[root@localhost compose_nginx]# docker-compose -f docker-compose.yml up -d  ##执行compose编排构建
[root@localhost compose_nginx]# ll
total 4
-rw-r--r--. 1 root root 256 Nov 13 02:45 docker-compose.yml
drwxr-xr-x. 2 root root  65 Nov 13 01:03 nginx
drwxr-xr-x. 2 root root   6 Nov 13 01:04 wwwroot    ###挂载目录

测试：

登录：http://20.0.0.16:1216/   会显示403 Forbidden
                                                   nginx/1.15.9   ##nginx服务是开启的，只是我们没有做首页而已
[root@localhost compose_nginx]# cd wwwroot/
[root@localhost wwwroot]# vim index.html
<h1>this is wangba</h1>
再次登录：http://20.0.0.16:1216/ 会显示：this is wangba

--------------------consul服务器部署--------------------------

mkdir consul
cd consul/
把consul_0.9.2_linux_amd64包上传到此目录
unzip consul_0.9.2_linux_amd64.zip  ##解压
mv consul /usr/bin/   ##让系统所能识别命令
consul agentr \    //使用agentr代理功能
-server \     //指定sever
-bootstrap \    //参与选举为领袖
-ui \     //提供web访问页面
-data-dir=/var/lib/consul-data \  //参数存储位置
-bind=20.0.0.21 \    //绑定地址（本地地址）
-client=0.0.0.0 \    //client所有节点终端
-node=consul-server01  & > /var/log/consul.log  &  //node=consul-server01 是本地节点名称，不管对的错的 有日志产生就混合输出到/var/log/consul.log下，& 放到后台运行

查看集群信息

[root@localhost consul]# consul members
[root@localhost consul]# consul info | grep leader  //过滤leader（老大）是谁
 leader = true
 leader_addr = 20.0.0.16:8300

通过httpd api 获取集群信息

curl 127.0.0.1:8500/v1/status/peers  //查看集群server成员
curl 127.0.0.1:8500/v1/status/leader  //集群 Raf leader
curl 127.0.0.1:8500/v1/catalog/services  //注册的所有服务
curl 127.0.0.1:8500/v1/catalog/services  //查看nginx服务信息
curl 127.0.0.1:8500/v1/catalog/nodes  //集群节点详细信息------做到这里，只能这条能查询使用！

------------在20.0.0.15服务设置nginx集群-----------

安装Glider labs/Registrator Glider labs/Registrator
可检查容器运行状态自动注册，还可注销docker容器的服务到服务配置中心。
目前支持 Consul、Etcd  和 SkyDNS2。
在   20.0.0.20   节点，执行以下操作:
docker  run -d  \
--name=registrator \   //指定容器名称
--net=host \    //指定host网络
-v /var/run/docker.sock:/tmp/docker.sock \ //指定数据卷
--restart=always \    //restart功能
gliderlabs/registrator:latest \   //指定从哪个镜像进行加载
-ip=20.0.0.20 \    //指定本地ip地址
consul://20.0.0.21:8500   //指定对方ip地址

创建四个测试容器

用docker run -itd 指定端口  指定名称test-01    名称指定test01容器名称    nginx镜像 
一二两行可以复制一起执行，然后在复制三四两行一起执行！！！
docker  run  -itd  -p:83:80  --name  test-01  -h  test01  nginx
docker  run  -itd  -p:84:80  --name  test-02  -h  test02  nginx
docker  run  -itd  -p:88:80  --name  test-03  -h  test03  httpd
docker  run  -itd  -p:89:80  --name  test-04  -h  test04  httpd

验证http 和nginx 服务是否注册到 consul

浏览器输入 20.0.0.16:8500  ，单机 NODES ，然后单机 consurl-server01，会出现5个服务

---------部署compose template---------------
服务器20.0.0.16上面的操作

准备template nginx模板文件
这个模板的作用实现配置文件的实时更新

vim    /root/consul/nginx.ctmpl
#http_backend（是服务器池子的名称）
upstream  http_backend {       ###四层转发    lvs只能做四层转发   nginx能做四层也能做七层
   {{range service "nginx"}}
    server  {{.Address}}:{{.Port}};
    {{end}}
}
上面代码的解释：这个模板当中先声明了后端服务器池(也就是上面五行代码)，这个后端服务器池引用了两个变量，一个是Address、一个是Port，分别读取node节点20.0.0.20ip地址和20.0.0.20的端口83、84，两个信息就会被加载过来，生成两条server条目（开几条nginx就会加载几条）
server  {
    listen 1216;  //监听端口，也是代理端口，提供给客户端的。映射的是容器的外端口
    server_name localhost  192.168.195.129; //指定本地地址，监听地址
    access_log  /var/ log/nginx/zk.cn-access.log; //日志文件所在位置
    index  index.html index.php;  //首页类型
    location  /  {    
          proxy _set_header HOST $host;  //proxy(代理、跳转)，header(头部信息)，主机
          proxy_set_header  X-Real-IP  $remote_addr; //后端服务器ip
          proxy_set_header Client-IP     $remote_addr; //客户端ip
          proxy_set_header X-Forwarded-For  $proxy_add_x_forwarded_for;  //跳转的地址   地址路径
          proxy _pass http://http_backend;  //http协议开头，后面是http_backend（服务器池子名称）地址
     }    ##反向解析模块   通过http转发定义在http_backend   
}

编译安装nginx

安装环境依赖包
yum -y install gcc gcc-c++ make pcre-devel  zlib-devel perl 
gcc编译器
gcc-c++编译器
make工具
pcre-devel支持正则表达式的工具
zlib-devel压缩工具
perl语言工具
把nginx包上传上来
tar zxvf nginx-1.15.9.tar.gz -C /opt/ //解压
cd /opt/nginx-1.15.9/
./configure --prefix=/usr/local/nginx //指定安装目录
make && make install  //编译安装
vim /usr/local/nginx/conf/nginx.conf //nginx主配置文件
写在http字段当中添加
include     vhost/*.conf;  //指定vhost路径
cd /usr/local/nginx/conf/ 
mkdir  vhost   //上面主配置指定了路径，在这创建一个vhost
mkdir /var/log/nginx  //生成的日志路径。刚刚配置里的路径，需要手动创一个nginx目录
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/  //让系统所能识别nginx命令
nginx      //启动nginx
[root@localhost log]# netstat -anpt | grep nginx  //查看nginx启动了没

配置并启动 template

cd   //cd到root家目录
unzip consul-template_0.19.3_linux_amd64.zip //解压
mv consul-template /usr/bin/   //系统所能识别 
启用模板
consul-template -consul-addr  20.0.0.16:8500  \ //指定本地ip地址
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/zk.conf:/usr/local/nginx/sbin/nginx -s reload"  \   // /root/consul/nginx.ctmpl模板路径产生出zk.conf配置文件，重载配置文件
--log-level=info //日志定义 info级别
cd  /usr/local/nginx/conf/vhost/  ##里面会自动生成一个zk.conf配置文件，可以vim进去看看

docker ps -a   //查看一下容器
docker stop d4cd7c98554   //把刚刚那个容器关闭掉。冲突了

/usr/local/nginx/sbin/nginx -s reload //重启一下服务

浏览器输入：20.0.016:1216 就可以看见nginx网站

测试

增加一个 nginx 容器节点,测试服务发现及配置更新功能
//在registrator服务端注册
docker run -itd -p:85:80 --name test-05 -h test05 nginx  //创建一个容器
这个时候20.0.0.21服务器就会监控自动更新了，更新的是zk.conf
去20.0.0.21里面vim zk.conf 就能看见更新了ip
//查看三台nginx容器日志，请求正常轮询到各个容器节点上（20.0.0.20服务器查看）
docker logs  -f test-01  //就能看见谁访问的我！
docker logs  -f test-02
docker logs  -f test-05

--------consul多节点-----------

添加一台已有docker环境的服务器20.0.0.20加入已有的群集中
把consul_0.9.2_linux_amd64包传上去
unzip consul_0.9.2_linux_amd64.zip 
mv consul /usr/bin/   //系统所能识别命令
consul agent  \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.22 \
-client=0.0.0.0  \
-node=consul-server02 \   //节点名称server02 
-enable-script-checks=true \   //开启服务检查
-datacenter=dc1 \    //数据中心名称
-join 20.0.0.16 &> /var/log/consul.log & //添加到已有的集群当中

-enable-script-checks=true：设置检查服务为可用
-datacenter：数据中心名称
-join：加入到已有的集群中

测试：

浏览器输入http://20.0.0.21:8500/，NODES里面就有server02

7. 错题集

启动docker时报错如下
docker: Error response from daemon: driver failed programming external connectivity on endpoint loving_bassi (37b4c399f676cf46e35fd26b2298ad81aac87739d8aee416f449e36c6cb22503):  (iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 --dport 90 -j DNAT --to-destination 172.17.0.2:80 ! -i docker0: iptables: No chain/target/match by that name.

解决方法：
Bash
# pkill docker
# iptables -t nat -F
# ifconfig docker0 down
# brctl delbr docker0
# service docker restart