compose搭建consul群集
Docker Compose概述
- Docker Compose的前身是Fig。它是一个定义及运行多个(批量部署)Docker容器的工具
- 使用Docker Compose不再需要使用Shell脚本来启动容器
- Docker Compose非常适合组合使用多个容器进行开发的场景
- Docker Compose是一个批量创建,运行容器的工具
Docker Compose容器编排
- YAML是一种标记语言很直观的数据序列化格式
- 文件格式即编写注意事项
- 不支持表符tab键缩进,需要使用空格缩进
- 通常开头缩进2个空格
- 字符后缩进1个空格,如冒号,逗号,横杆
- 用#号注释
- 如果包含特殊字符用单引号引起来
- 布尔值必须用引号括起来
Docker Compose配置常用字段
字段 | 描述 |
---|---|
build dockerfile context | 指定Dockerfile文件名构建镜像上下文路径 |
image | 指定镜像 |
command | 执行命令,覆盖默认命令 |
container name | 指定容器名称,由于容器名称是唯一-的, 如果指定自定义名称,则无法scale(建立副本) |
deploy | 指定部署和运行服务相关配置,只能在Swarm模式使用 |
environment | 添加环境变量 |
networks | 加入网络 (名称空间) |
ports | 暴露容器端口,与-p相同,但端口不能低于60 |
volumes | 挂载宿主机路径或命令卷(数据卷) |
restart | 重启策略,默认no(失败,不会继续操作),always(失败,一直尝试重启,直到运行成功), no-failure,unless-stoped |
hostname | 容器主机名 |
Docker Compose常用命令
字段 | 描述 |
---|---|
build | 重新构建服务 |
ps | 列出容器 |
up | 创建和启动容器 |
exec | 在容器里面执行命令 |
scale | 指定一个服务容器启动数量 |
top | 显示容器进程 |
logs | 查看容器输出 |
down | 删除容器、网络、数据卷和镜像 |
stop/start/restart | 停止/启动/重启服务 |
Docker Compose命令说明
基本格式及常用选项
docker-compose [options] [COMMAND] [ARGS...]
--verbose 输出更多调试信息
--version打印版本并退出
-f,--file FILE 使用特定的compose模板文件,默认为docker-compose.yml
-p,--project-name NAME指定项目名称,默认使用目录名称
Docker Compose部署
添加文件
[root@server3 ~]# docker ps -a
[root@server3 ~]# ls
[root@server3 ~]# cp -p docker-compose /usr/bin
[root@server3 ~]# cd /usr/bin/
[root@server3 bin]# ls
[root@server3 bin]# chmod +x docker-compose
[root@server3 bin]# cd
[root@server3 ~]# mkdir compose_nginx
[root@server3 ~]# yum -y install tree
使用dockerfile创建nginx
[root@server3 ~]# cd compose_nginx/
[root@server3 compose_nginx]# mkdir nginx
[root@server3 compose_nginx]# ls
[root@server3 compose_nginx]# cd nginx/
[root@server3 nginx]# vi Dockerfile
FROM centos:7
MAINTAINER this is nginx
RUN yum -y update
RUN yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.12.2.tar.gz /usr/local/src
WORKDIR /usr/local/src
WORKDIR nginx-1.12.2
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;">>/usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]
[root@server3 nginx]# vi run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx
[root@server3 compose_nginx]# mkdir wr
[root@server3 compose_nginx]# cd wr/
[root@server3 wr]# vi index.html
hello!!world
[root@server3 compose_nginx]# tree
创建模板脚本
[root@server3 compose_nginx]# vi docker-compose.yaml
version: '3'
services:
nginx:
hostname: nginx
build:
context: ./nginx
dockerfile: Dockerfile
ports:
- 1212:80
- 2121:443
networks:
- cluster
volumes:
- ./wr:/usr/local/nginx/html
networks:
cluster:
volumes:
- ./wr:/usr/local/nginx/html
networks:
cluster: ## 注意空格 不然容易报错
[root@server3 compose_nginx]# docker-compose -f docker-compose.yaml up -d
[root@server3 compose_nginx]# docker images
[root@server3 compose_nginx]# docker ps -a
浏览器查看
20.0.0.13:1212
Consul
Consul概述
- Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。
Consul提供了几个关键功能: - 服务发现 -Consul使服务易于注册自己并通过DNS或HTTP接口发现其他服务。诸如SaaS提供程序之类的外部服务也可以注册。
- 健康检查 -健康检查【运行状况检查】使Consul可以快速提醒操作员有关群集中的任何问题。与服务发现的集成可防止将流量路由到不正常的主机,并启用服务级别的断路器。
服务细分/服务网格 -Consul Connect通过自动TLS加密和基于身份的授权实现安全的服务到服务通信。应用程序可以在服务网格配置中使用sidecar代理来为入站和出站连接建立TLS连接,而根本不知道Connect。
键/值存储 -灵活的键/值存储可存储动态配置,功能标记,协调,领导者选举等。简单的HTTP API使其易于在任何地方使用。 - 多数据中心 -Consul旨在支持数据中心,并且无需复杂的配置即可支持任意数量的区域。
Consul用Golang实现,可以在Linux,Mac OS X,FreeBSD,Solaris和Windows上运行。Consul,因此具有天然可移植性 (支持 Linux、windows和macOS)。
Consul作用
- 现在企业应用都向微服务化方向发展,当把我们的系统功能拆分成一个一个的微服务后,存在以下问题
- 需要配置N个服务的网络位置,加大配置的复杂性
- 服务的网络位置变化,都需要改变每个调用者的配置
- 集群的情况下,难以做负载(反向代理的方式除外)
- 这个时候我们就可以通过使用 服务发现 机制系统,来帮助我们来管理这些繁杂的配置
- 服务A-N把当前自己的网络位置注册(告诉)到服务发现模块,服务发现就以K-V的方式记录下,K一般是服务名,V就是IP:PORT。服务发现模块定时的轮询查看这些服务能不能访问的了(这就是健康检查)。客户端在调用服务A-N的时候,就跑去服务发现模块问下它们的网络位置,然后再调用它们的服务。客户端完全不需要记录这些服务网络位置,客户端和服务端完全解耦
构建Docker服务架构
构建自动发现的Docker服务架构
Consul agent有两种运行模式
- Server
- Client
Server和Client只是Consul集群层面的区分,与搭建在Cluster之上的应用服务无关
Consul部署
部署前准备
服务器1:20.0.0.13
服务器2:20.0.0.14
部署
[root@server3 ~]# mkdir consul
[root@server3 ~]# cd consul/
[root@server3 consul]# unzip consul_0.9.2_linux_amd64.zip
[root@server3 consul]# ls
[root@server3 consul]# mv consul /usr/bin/
[root@server3 consul]# ll /usr/bin | grep consul
[root@server3 consul]# consul agent \
-server \ # 服务端
-bootstrap \ #前端框架
-ui \ #可被访问的web界面
-data-dir=/var/lib/consul-data \
-bind=20.0.0.10 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log & #混合输出并后台运行
查看集群信息
[root@server3 consul]# jobs #查看状态
[root@server1 consul]# consul members
[root@server1 consul]# consul info | grep leader
容器服务加入consul
- 安装 Gliderlabs/Registrator Gliderlabs/Registrator
- 可检查容器运行状态自动注册,还可注销 docker 容器的服务 到服务配置中心。
- 目前支持 Consul、Etcd 和 SkyDNS2
在另外一台服务器节点上,执行以下操作
[root@server2 ~]# docker run -d \
> --name=registrator \
> --net=host \
> -v /var/run/docker.sock:/tmp/docker.sock \
> --restart=always \
> gliderlabs/registrator:latest \
> -ip=20.0.0.14 \
> consul://20.0.0.13:8500
[root@server2 ~]# docker images
[root@server2 ~]# docker ps -a
在20.0.0.13服务器上检测端口
[root@server3 consul]# netstat -natp
[root@server3 consul]# netstat -natp | grep 8500
测试服务发现功能
浏览器查看
20.0.0.13:8500
在consul服务器上查看服务
[root@server3 consul]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}
consul-template
概述
Consul-Template 是一个守护进程,用于实时查询 Consul 集群信息,
- 并更新文件系统 上任意数量的指定模板,生成配置文件。更新完成以后,
- 可以选择运行 shell 命令执行更新 操作,重新加载 Nginx。Consul-Template
- 可以查询 Consul 中的服务目录、Key、Key-values 等。
- 这种强大的抽象功能和查询语言模板可以使 Consul-Template 特别适合动态的创建配置文件。
安装consul-template
在consul服务器(20.0.0.13)上操作
[root@server3 consul]# vi /root/consul/nginx.ctmpl
upstream http_backend {
{{range service "nginx"}} #双括号表示范围
server {{.Address}}:{{.Port}}; #此处引用的变量会指向后端的地址和端口(动态变化)
{{end}}
}
server {
listen 112;
server_name localhost 20.0.0.13; #反向代理的IP地址
access_log /var/log/nginx/kgc.cn-access.log;
index index.html index.php;
location / {
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr; #后端真实IP
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; #转发地址
proxy_pass http://http_backend; #反向代理
}
}
编译安装nginx
[root@server3 consul]# vi nginx.ctmpl
[root@server3 consul]# ls
[root@server3 consul]# yum install gcc pcre-devel zlib-devel -y
[root@server3 consul]# cd
[root@server3 ~]# cd compose_nginx/
[root@server3 compose_nginx]# ls
[root@server3 compose_nginx]# cd nginx/
[root@server3 nginx]# ls
[root@server3 nginx]# tar zxvf nginx-1.12.2.tar.gz -C /opt
[root@server3 nginx]# cd /opt/
[root@server3 opt]# ls
containerd nginx nginx-1.12.2 rh tomcat
[root@server3 opt]# cd nginx-1.12.2/
[root@server3 nginx-1.12.2]# ./configure --prefix=/usr/local/nginx
[root@server3 nginx-1.12.2]# make && make install
配置nginx
[root@server3 nginx-1.12.2]# cd /usr/local/nginx/conf/
[root@server3 conf]# ls
[root@server3 conf]# vi nginx.conf
include vhost/*.conf; #添加虚拟主机目录
[root@server3 conf]# ls
[root@server3 conf]# mkdir /usr/local/nginx/conf/vhost #创建虚拟主机目录
[root@server3 conf]# mkdir /var/log/nginx #创建日志文件目录
[root@server3 conf]# /usr/local/nginx/sbin/nginx #启动nginx
配置并启动 template
添加consul-template压缩包
[root@server3 ~]# ls
[root@server3 ~]# unzip consul-template_0.19.3_linux_amd64.zip
[root@server3 ~]# ls
[root@server3 ~]# mv consul-template /usr/bin/
[root@server3 ~]# cd /usr/local/nginx/conf/
[root@server3 conf]# ls
[root@server3 conf]# cd vhost/
[root@server3 vhost]# consul-template -consul-addr 20.0.0.13:8500 \
> -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
> --log-level=info
新开一个会话
[root@server3 ~]# cd /usr/local/nginx/conf/
[root@server3 conf]# ls
[root@server3 conf]# cd vhost/
[root@server3 vhost]# ls
[root@server3 vhost]# vi kgc.conf
增加一个nginx容器节点
用来测试服务发现及配置更新功能
在registrator(20.0.0.14)服务端注册
在consul服务器监控装填会有提示自动更新
浏览器上查看 20.0.0.13:8500