(重点)理论+实验——使用Docker-conpose搭建consul集群环境

前言:

自动编排思路:
① 创建Dockerfile目录,用来作为镜像制作的素材
② 在目录中写Dockerfile文件
③ 包Dockerfile文件中ADD部分涉及到的文件添加到Dockerfile目录中
④ 编写yaml文件
⑤ 如果涉及到数据卷,则需要在数据卷目录中放入指定文件
⑥ docker-compose编排构建
⑦ 使用docker ps -a 检查容器运行状态

一、Doscker Compose

1.1 概述

  • Docker Compose的前身是Fig,它是一个定义及运行多个Docker容器的工具
  • 使用Docker Compose不再需要使用Shell脚本来启动容器
  • Docker Compose非常适合组合使用多个容器进行开发的场景

在这里插入图片描述

1.2 Docker Compose文件格式

  • YAML是一种标记语言很直观的数据序列化格式
  • 文件格式及变下注意事项
    ◆ 不支持制表符 tab键缩进,需要使用空格缩进
    ◆ 通常开头缩进2个空格gw
    ◆ 字符后缩进1个空格,如冒号、逗号、横杆
    ◆ 用#号注释
    ◆ 如果包含特殊字符用单引号引起来
    ◆ 布尔值必须用引号括起来

1.3 Docker Compose配置常用字段

字段描述
build dockerfile context指定Dockerfile文件名构建镜像上下文路径
image指定镜像
command执行命令,覆盖默认命令
container name指定容器名称,由于容器名称是唯一的,如果指定自定义名称,则无法scale
deploy指定部署和运行服务相关配置,只能在Swarm模式使用
environment添加环境变量
networks加入网络
ports暴露容器端口,与-p相同,但端口不能低于60
volumes挂载宿主机路径或命令卷
restart重启策略,默认no,always,no-failure,unless-stoped
hostname容器主机名

1.4 Docker Compose常用命令

字段描述
build重新构建服务
ps列出容器
up创建和启动容器
exec在容器里面执行命令
scale指定一个服务容器启动数量
top显示容器进程
logs查看容器输出
down删除容器、网络、数据卷和镜像
stop/start/restart停止/启动/重启服务

1.5 Compose命令说明

■ 基本的使用格式:

docker-compose [options] [CONNAND] [ARGS...]

■ docker-compose选项:

  • –verbose:输出更多调试信息
  • –version:打印版本并退出
  • -f,–file FILE:使用特定的 conpose 模板文件,默认为 docker-compose.yml
  • -p,–project-name NAME:指定项目名称,默认使用目录名称

二、Consule

2.1概述

  • Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置
  • Consul的特性
    ◆ 支持健康检查,允许存储键值对
    ◆ 基于Golong语言,可移植性强
    ◆ 支持ACL访问控制
  • 与Docker等轻量级容器可无缝配合

在这里插入图片描述

2.2 容器服务更新与发现拓扑图

在这里插入图片描述

二、实验环境

主机操作系统IP主要软件
服务器Centos 7.320.0.0.21Docker、Compose、Consul、Consul-template
服务器Centos 7.320.0.0.22Docker、registrator

三、实验步骤

3.1 compose部署

'//环境部署所有主机安装docker环境(内容为docker基础)'
yum -y install docker-ce
//下载compose
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
有包

chmod +x docker-compose

mv  docker-compose /usr/local/bin

mkdir compose_nginx

cd compose_nginx/

mkdir nginx

cd nginx

vim Dockerfile

FROM centos:7
MAINTAINER this is nginx image <zhou>
RUN yum -y update
RUN yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.15.9.tar.gz /usr/local/src
WORKDIR /usr/local/src/nginx-1.15.9
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;">>/usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]

vim run.sh

#!/bin/bash
/usr/local/nginx/sbin/nginx

cd ..
vim compose_nginx.yml

version: '3'
services:
  nginx:
    hostname: nginx
    build:
      context: ./nginx
      dockerfile: Dockerfile
    ports:
     - 1216:80
     - 1217:443
    networks:
     - abc
    volumes:
     - ./wwwroot:/usr/local/nginx/html
networks:
  abc:

docker-compose -f compose_nginx.yml up -d

cd wwwroot/

vim index.html

<h1>this is web</h1>

浏览器输入:20.0.0.21:1216
在这里插入图片描述

3.2 consul部署

mkdir consul
cd consul/
unzip consul_0.9.2_linux_amd64.zip

mv consul /usr/bin/

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.21 \
-client=0.0.0.0 \
-node=consul-sever01 &> /var/log/consul.log &

##agent 代理功能
##设定角色为server端
##bootstrap:角色身份,前端的一个架构,参与选举为他的领袖
##ui:图形化界面,提供web访问界面

##查看群集信息
[root@localhost consul]# consul members
Node            Address         Status  Type    Build  Protocol  DC
consul-sever01  20.0.0.21:8301  alive   server  0.9.2  2         dc1

##DC:数据中心,默认dc1

[root@localhost consul]# consul info | grep leader
	leader = true
	leader_addr = 20.0.0.21:8300

##端口号:8300     方便node节点与他沟通,registrator直接与他注册,注册给server端

##通过httpd api 获取集群信息
curl 127.0.0.1:8500/v1/status/peers                ##查看集群server成员
curl 127.0.0.1:8500/v1/status/leader               ##集群 Raf leader
curl 127.0.0.1:8500/v1/status/services            ##注册的所有服务
curl 127.0.0.1:8500/v1/status/nginx                ##查看 nginx 服务信息

[root@localhost consul]# curl 127.0.0.1:8500/v1/status/peers
["20.0.0.21:8300"]
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/leader
"20.0.0.21:8300"

[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/nodes                          ##集群节点详细信息
[{"ID":"0812d88f-7f47-8d36-85a4-2443f1c52593","Node":"consul-sever01","Address":"20.0.0.21","Datacenter":"dc1","TaggedAddresses":{"lan":"20.0.0.21","wan":"20.0.0.21"},"Meta":{},"CreateIndex":5,"ModifyIndex":6}

3.3 容器服务自动加入nginx集群

3.3.1 安装 Gliderlabs/Registrator Gliderlabs/Registrator

可检查容器运行状态自动注册,还可注销 docker 容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2

在 20.0.0.22 节点,执行以下操作:

hostnamectl set-hostname node
su

[root@node ~]# ls /var/run/
docker.sock 

docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=20.0.0.22 \
consul://20.0.0.21:8500

在这里插入图片描述

3.3.2 测试服务发现功能是否正常

docker run -itd -p:83:80 --name test-01 nginx
docker run -itd -p:84:80 --name test-02 nginx
docker run -itd -p:88:80 --name test-03 httpd
docker run -itd -p:89:80 --name test-04 httpd

-h test01:主机名    ##可去除
##内端口:83,外端口:80

[root@node ~]# docker ps -a
CONTAINER ID        IMAGE                           COMMAND                  CREATED              STATUS              PORTS                NAMES
e42eb6dfb754        httpd                           "httpd-foreground"       14 seconds ago       Up 13 seconds       0.0.0.0:89->80/tcp   test-04
72e3dd852e70        httpd                           "httpd-foreground"       37 seconds ago       Up 36 seconds       0.0.0.0:88->80/tcp   test-03
eb85ddf1fb28        nginx                           "/docker-entrypoint.…"   About a minute ago   Up About a minute   0.0.0.0:84->80/tcp   test-02
5690e7aee697        nginx                           "/docker-entrypoint.…"   3 minutes ago        Up 3 minutes        0.0.0.0:83->80/tcp   test-01
07a98e9201b3        gliderlabs/registrator:latest   "/bin/registrator -i…"   15 minutes ago       Up 15 minutes

3.3.3 验证 httpd 和 nginx 服务是否注册到 consul

浏览器输入:20.0.0.21:8500,单机 "NODES",然后点击 "consil-server01",会出现 5 个服务

##在consul服务器上查看服务
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}

在这里插入图片描述

3.3.4 安装 consul-template

Consul-Template 是一个守护进程,用于实时查询 Consul 集群信息,
并更新文件系统上任意数量的指定模板,生成配置文件。更新完成以后, 可以查询 Consul 中的服务目录、Key、Key-values 等。
这种强大的抽象功能和查询语言模板可以是 Consul-Template 特别适合动态创建配置文件 例如:创建 Apache/Nginx
Proxy Balancers、Haproxy Backends

3.3.5 准备 templaet nginx 模板文件

##在consul上操作
cd consul/
vim nginx.ctmpl
##申明后端服务器值##

LVS:四层转发
Nginx:四层和七层转发

#upstream做的是四层转发

upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}}; 
   {{end}}
}

server {
  listen 83;
  server_name localhost 20.0.0.21;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

'注释:'
server {{.Address}}:{{.Port}};    ##变量  ##分别读取node节点服务地址和端口(动态加载)
listen 83;  ##防止端口冲突
X-Real-IP $remote_addr##请求者地址
index index.html index.php;     ##默认首页识别类型
proxy_pass http://http_backend;        ##proxy_pass:反向代理模块

3.3.6 编译安装nginx

yum install gcc pcre-devel zlib-devel -y
tar zxvf nginx-1.15.9.tar.gz  -C  /opt
cd /opt
cd nginx-1.15.9/
./configure  --prefix=/usr/local/nginx
make && make install

3.3.7 配置 nginx

vim /usr/local/nginx/conf/nginx.conf

http {
        include                        mime.types;
        include     vhost/*.conf;       ##添加虚拟主机目录
        default_type       application/octet-stream;

##创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
##创建日志目录
mkdir  /var/log/nginx

启动 nginx
/usr/local/nginx/sbin/nginx

netstat -anpt | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      17392/nginx: master 

3.3.8 配置并启动 template

上传  consul-template_0.19.3_linux_amd64.zip  包到/root 目录下

cp consul-template_0.19.3_linux_amd64.zip /root/

unzip consul-template_0.19.3_linux_amd64.zip

mv consul-template  /usr/bin/

//启动模板
consul-template  -consul-addr 20.0.0.21:8500 \
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info

使用模板:生成文件:重载
日志信息级别:info

'//另外打开一个终端查看生产配置文件'

[root@localhost ~]# cd /usr/local/nginx/conf/vhost/
[root@localhost vhost]# ls
kgc.conf
[root@localhost vhost]# vim /usr/local/nginx/conf/vhost/kgc.conf
upstream http_backend {

   server 20.0.0.22:83;

   server 20.0.0.22:84;

}

server {
  listen 83;
  server_name localhost 20.0.0.21;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

在这里插入图片描述

3.3.9 增加一个nginx容器节点

增加一个nignx 容器节点,测试服务发现及配置更新功能
//在registrator服务端注册
docker run -itd -p:85:80 --name  test-05 nginx

//在consul服务器监控装填会有提示自动更新
2020/11/13 03:30:15.099449 [INFO] consul-template v0.19.3 (ebf2d3d)
2020/11/13 03:30:15.099470 [INFO] (runner) creating new runner (dry: false, once: false)
2020/11/13 03:30:15.100248 [INFO] (runner) creating watcher
2020/11/13 03:30:15.101003 [INFO] (runner) starting
2020/11/13 03:30:15.101042 [INFO] (runner) initiating run
2020/11/13 03:30:15.108822 [INFO] (runner) initiating run

//查看三台nginx容器日志,请求正常轮询到各个容器节点上
docker logs -f test-01
docker logs -f test-02
docker logs -f test-05

测试代理服务器功能
在浏览器中输入 20.0.0.21:1216
发现是 this is ......
因为上次master创建了一个nginx 容器 导致起了冲突
所以docker stop 52f0364d7260 关闭
重启nginx服务
/usr/local/nginx/sbin/nginx -s reload

再次访问时master成功代理,访问的是节点服务器中的容器

在这里插入图片描述

3.4 consul 多节点

##添加一台已有docker环境的服务器20.0.0.23/24加入已有的群集中

mkdir consul
cd consul/
unzip consul_0.9.2_linux_amd64.zip

mv consul /usr/bin/

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.23 \
-client=0.0.0.0 \
-node=consul-sever02 \
-enable-script-checks=true \
-datacenter=dc1 \
-join 20.0.0.21 &> /var/log/consul.log &

-enable-script-checks=true:设置检查服务为可用
-datacenter:数据中心名称
-join:加入到已有的集群中

浏览器登录:20.0.0.21
在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是使用docker-compose搭建ES集群的步骤: 1. 首先,在你的机器上安装DockerDocker Compose。 2. 创建一个新的文件夹,用于存储docker-compose.yml文件和ES配置文件。 3. 在该文件夹中创建一个名为docker-compose.yml的文件,并将以下内容复制到文件中: ``` version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 container_name: elasticsearch environment: - node.name=es-node1 - cluster.name=es-docker-cluster - discovery.seed_hosts=es-node1,es-node2,es-node3 - cluster.initial_master_nodes=es-node1,es-node2,es-node3 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - esdata1:/usr/share/elasticsearch/data ports: - 9200:9200 networks: - esnet elasticsearch2: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 container_name: elasticsearch2 environment: - node.name=es-node2 - cluster.name=es-docker-cluster - discovery.seed_hosts=es-node1,es-node2,es-node3 - cluster.initial_master_nodes=es-node1,es-node2,es-node3 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - esdata2:/usr/share/elasticsearch/data networks: - esnet elasticsearch3: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 container_name: elasticsearch3 environment: - node.name=es-node3 - cluster.name=es-docker-cluster - discovery.seed_hosts=es-node1,es-node2,es-node3 - cluster.initial_master_nodes=es-node1,es-node2,es-node3 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - esdata3:/usr/share/elasticsearch/data networks: - esnet volumes: esdata1: driver: local esdata2: driver: local esdata3: driver: local networks: esnet: ``` 这个文件定义了三个ES节点,每个节点都有自己的容器,并且它们都属于同一个网络。 4. 创建一个名为elasticsearch.yml的文件,并将以下内容复制到文件中: ``` cluster.name: "es-docker-cluster" network.host: 0.0.0.0 discovery.seed_hosts: elasticsearch,elasticsearch2,elasticsearch3 cluster.initial_master_nodes: elasticsearch,elasticsearch2,elasticsearch3 ``` 这个文件定义了ES节点的配置信息。 5. 运行以下命令启动ES集群: ``` docker-compose up -d ``` 这个命令将启动三个ES节点,并在后台运行它们。 6. 等待片刻,然后运行以下命令来查看ES集群的状态: ``` curl http://localhost:9200/_cat/nodes?v ``` 如果一切正常,你应该能够看到三个节点的状态信息。 这样,一个使用docker-compose搭建的ES集群就创建完成了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值