前言:
自动编排思路:
① 创建Dockerfile目录,用来作为镜像制作的素材
② 在目录中写Dockerfile文件
③ 包Dockerfile文件中ADD部分涉及到的文件添加到Dockerfile目录中
④ 编写yaml文件
⑤ 如果涉及到数据卷,则需要在数据卷目录中放入指定文件
⑥ docker-compose编排构建
⑦ 使用docker ps -a 检查容器运行状态
一、Doscker Compose
1.1 概述
- Docker Compose的前身是Fig,它是一个定义及运行多个Docker容器的工具
- 使用Docker Compose不再需要使用Shell脚本来启动容器
- Docker Compose非常适合组合使用多个容器进行开发的场景
1.2 Docker Compose文件格式
- YAML是一种标记语言很直观的数据序列化格式
- 文件格式及变下注意事项
◆ 不支持制表符 tab键缩进,需要使用空格缩进
◆ 通常开头缩进2个空格gw
◆ 字符后缩进1个空格,如冒号、逗号、横杆
◆ 用#号注释
◆ 如果包含特殊字符用单引号引起来
◆ 布尔值必须用引号括起来
1.3 Docker Compose配置常用字段
字段 | 描述 |
---|---|
build dockerfile context | 指定Dockerfile文件名构建镜像上下文路径 |
image | 指定镜像 |
command | 执行命令,覆盖默认命令 |
container name | 指定容器名称,由于容器名称是唯一的,如果指定自定义名称,则无法scale |
deploy | 指定部署和运行服务相关配置,只能在Swarm模式使用 |
environment | 添加环境变量 |
networks | 加入网络 |
ports | 暴露容器端口,与-p相同,但端口不能低于60 |
volumes | 挂载宿主机路径或命令卷 |
restart | 重启策略,默认no,always,no-failure,unless-stoped |
hostname | 容器主机名 |
1.4 Docker Compose常用命令
字段 | 描述 |
---|---|
build | 重新构建服务 |
ps | 列出容器 |
up | 创建和启动容器 |
exec | 在容器里面执行命令 |
scale | 指定一个服务容器启动数量 |
top | 显示容器进程 |
logs | 查看容器输出 |
down | 删除容器、网络、数据卷和镜像 |
stop/start/restart | 停止/启动/重启服务 |
1.5 Compose命令说明
■ 基本的使用格式:
docker-compose [options] [CONNAND] [ARGS...]
■ docker-compose选项:
- –verbose:输出更多调试信息
- –version:打印版本并退出
- -f,–file FILE:使用特定的 conpose 模板文件,默认为 docker-compose.yml
- -p,–project-name NAME:指定项目名称,默认使用目录名称
二、Consule
2.1概述
- Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置
- Consul的特性
◆ 支持健康检查,允许存储键值对
◆ 基于Golong语言,可移植性强
◆ 支持ACL访问控制 - 与Docker等轻量级容器可无缝配合
2.2 容器服务更新与发现拓扑图
二、实验环境
主机 | 操作系统 | IP | 主要软件 |
---|---|---|---|
服务器 | Centos 7.3 | 20.0.0.21 | Docker、Compose、Consul、Consul-template |
服务器 | Centos 7.3 | 20.0.0.22 | Docker、registrator |
三、实验步骤
3.1 compose部署
'//环境部署所有主机安装docker环境(内容为docker基础)'
yum -y install docker-ce
//下载compose
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
有包
chmod +x docker-compose
mv docker-compose /usr/local/bin
mkdir compose_nginx
cd compose_nginx/
mkdir nginx
cd nginx
vim Dockerfile
FROM centos:7
MAINTAINER this is nginx image <zhou>
RUN yum -y update
RUN yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.15.9.tar.gz /usr/local/src
WORKDIR /usr/local/src/nginx-1.15.9
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;">>/usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]
vim run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx
cd ..
vim compose_nginx.yml
version: '3'
services:
nginx:
hostname: nginx
build:
context: ./nginx
dockerfile: Dockerfile
ports:
- 1216:80
- 1217:443
networks:
- abc
volumes:
- ./wwwroot:/usr/local/nginx/html
networks:
abc:
docker-compose -f compose_nginx.yml up -d
cd wwwroot/
vim index.html
<h1>this is web</h1>
浏览器输入:20.0.0.21:1216
3.2 consul部署
mkdir consul
cd consul/
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/bin/
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.21 \
-client=0.0.0.0 \
-node=consul-sever01 &> /var/log/consul.log &
##agent 代理功能
##设定角色为server端
##bootstrap:角色身份,前端的一个架构,参与选举为他的领袖
##ui:图形化界面,提供web访问界面
##查看群集信息
[root@localhost consul]# consul members
Node Address Status Type Build Protocol DC
consul-sever01 20.0.0.21:8301 alive server 0.9.2 2 dc1
##DC:数据中心,默认dc1
[root@localhost consul]# consul info | grep leader
leader = true
leader_addr = 20.0.0.21:8300
##端口号:8300 方便node节点与他沟通,registrator直接与他注册,注册给server端
##通过httpd api 获取集群信息
curl 127.0.0.1:8500/v1/status/peers ##查看集群server成员
curl 127.0.0.1:8500/v1/status/leader ##集群 Raf leader
curl 127.0.0.1:8500/v1/status/services ##注册的所有服务
curl 127.0.0.1:8500/v1/status/nginx ##查看 nginx 服务信息
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/peers
["20.0.0.21:8300"]
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/leader
"20.0.0.21:8300"
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/nodes ##集群节点详细信息
[{"ID":"0812d88f-7f47-8d36-85a4-2443f1c52593","Node":"consul-sever01","Address":"20.0.0.21","Datacenter":"dc1","TaggedAddresses":{"lan":"20.0.0.21","wan":"20.0.0.21"},"Meta":{},"CreateIndex":5,"ModifyIndex":6}
3.3 容器服务自动加入nginx集群
3.3.1 安装 Gliderlabs/Registrator Gliderlabs/Registrator
可检查容器运行状态自动注册,还可注销 docker 容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2
在 20.0.0.22 节点,执行以下操作:
hostnamectl set-hostname node
su
[root@node ~]# ls /var/run/
docker.sock
docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=20.0.0.22 \
consul://20.0.0.21:8500
3.3.2 测试服务发现功能是否正常
docker run -itd -p:83:80 --name test-01 nginx
docker run -itd -p:84:80 --name test-02 nginx
docker run -itd -p:88:80 --name test-03 httpd
docker run -itd -p:89:80 --name test-04 httpd
-h test01:主机名 ##可去除
##内端口:83,外端口:80
[root@node ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e42eb6dfb754 httpd "httpd-foreground" 14 seconds ago Up 13 seconds 0.0.0.0:89->80/tcp test-04
72e3dd852e70 httpd "httpd-foreground" 37 seconds ago Up 36 seconds 0.0.0.0:88->80/tcp test-03
eb85ddf1fb28 nginx "/docker-entrypoint.…" About a minute ago Up About a minute 0.0.0.0:84->80/tcp test-02
5690e7aee697 nginx "/docker-entrypoint.…" 3 minutes ago Up 3 minutes 0.0.0.0:83->80/tcp test-01
07a98e9201b3 gliderlabs/registrator:latest "/bin/registrator -i…" 15 minutes ago Up 15 minutes
3.3.3 验证 httpd 和 nginx 服务是否注册到 consul
浏览器输入:20.0.0.21:8500,单机 "NODES",然后点击 "consil-server01",会出现 5 个服务
##在consul服务器上查看服务
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}
3.3.4 安装 consul-template
Consul-Template 是一个守护进程,用于实时查询 Consul 集群信息,
并更新文件系统上任意数量的指定模板,生成配置文件。更新完成以后, 可以查询 Consul 中的服务目录、Key、Key-values 等。
这种强大的抽象功能和查询语言模板可以是 Consul-Template 特别适合动态创建配置文件 例如:创建 Apache/Nginx
Proxy Balancers、Haproxy Backends
3.3.5 准备 templaet nginx 模板文件
##在consul上操作
cd consul/
vim nginx.ctmpl
##申明后端服务器值##
LVS:四层转发
Nginx:四层和七层转发
#upstream做的是四层转发
upstream http_backend {
{{range service "nginx"}}
server {{.Address}}:{{.Port}};
{{end}}
}
server {
listen 83;
server_name localhost 20.0.0.21;
access_log /var/log/nginx/kgc.cn-access.log;
index index.html index.php;
location / {
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://http_backend;
}
}
'注释:'
server {{.Address}}:{{.Port}}; ##变量 ##分别读取node节点服务地址和端口(动态加载)
listen 83; ##防止端口冲突
X-Real-IP $remote_addr: ##请求者地址
index index.html index.php; ##默认首页识别类型
proxy_pass http://http_backend; ##proxy_pass:反向代理模块
3.3.6 编译安装nginx
yum install gcc pcre-devel zlib-devel -y
tar zxvf nginx-1.15.9.tar.gz -C /opt
cd /opt
cd nginx-1.15.9/
./configure --prefix=/usr/local/nginx
make && make install
3.3.7 配置 nginx
vim /usr/local/nginx/conf/nginx.conf
http {
include mime.types;
include vhost/*.conf; ##添加虚拟主机目录
default_type application/octet-stream;
##创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
##创建日志目录
mkdir /var/log/nginx
启动 nginx
/usr/local/nginx/sbin/nginx
netstat -anpt | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 17392/nginx: master
3.3.8 配置并启动 template
上传 consul-template_0.19.3_linux_amd64.zip 包到/root 目录下
cp consul-template_0.19.3_linux_amd64.zip /root/
unzip consul-template_0.19.3_linux_amd64.zip
mv consul-template /usr/bin/
//启动模板
consul-template -consul-addr 20.0.0.21:8500 \
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info
使用模板:生成文件:重载
日志信息级别:info
'//另外打开一个终端查看生产配置文件'
[root@localhost ~]# cd /usr/local/nginx/conf/vhost/
[root@localhost vhost]# ls
kgc.conf
[root@localhost vhost]# vim /usr/local/nginx/conf/vhost/kgc.conf
upstream http_backend {
server 20.0.0.22:83;
server 20.0.0.22:84;
}
server {
listen 83;
server_name localhost 20.0.0.21;
access_log /var/log/nginx/kgc.cn-access.log;
index index.html index.php;
location / {
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://http_backend;
}
}
3.3.9 增加一个nginx容器节点
增加一个nignx 容器节点,测试服务发现及配置更新功能
//在registrator服务端注册
docker run -itd -p:85:80 --name test-05 nginx
//在consul服务器监控装填会有提示自动更新
2020/11/13 03:30:15.099449 [INFO] consul-template v0.19.3 (ebf2d3d)
2020/11/13 03:30:15.099470 [INFO] (runner) creating new runner (dry: false, once: false)
2020/11/13 03:30:15.100248 [INFO] (runner) creating watcher
2020/11/13 03:30:15.101003 [INFO] (runner) starting
2020/11/13 03:30:15.101042 [INFO] (runner) initiating run
2020/11/13 03:30:15.108822 [INFO] (runner) initiating run
//查看三台nginx容器日志,请求正常轮询到各个容器节点上
docker logs -f test-01
docker logs -f test-02
docker logs -f test-05
测试代理服务器功能
在浏览器中输入 20.0.0.21:1216
发现是 this is ......
因为上次master创建了一个nginx 容器 导致起了冲突
所以docker stop 52f0364d7260 关闭
重启nginx服务
/usr/local/nginx/sbin/nginx -s reload
再次访问时master成功代理,访问的是节点服务器中的容器
3.4 consul 多节点
##添加一台已有docker环境的服务器20.0.0.23/24加入已有的群集中
mkdir consul
cd consul/
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/bin/
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.23 \
-client=0.0.0.0 \
-node=consul-sever02 \
-enable-script-checks=true \
-datacenter=dc1 \
-join 20.0.0.21 &> /var/log/consul.log &
-enable-script-checks=true:设置检查服务为可用
-datacenter:数据中心名称
-join:加入到已有的集群中
浏览器登录:20.0.0.21