文章目录
一.Docker compose概述:
什么是 compose
●Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。它是一个定义和运行多容器的docker应用工具。使用compose,你能通过YMAL文件配置你自己的服务,然后通过一个命令,你能使用配置文件创建和运行所有的服务。
●Compose是一个定位“定义和运行多个Docker容器应用的工具”,其前身是Fig,目前使用的Compose仍然兼容Fig格式的模板文件。
●Compose的代码主要使用Python编写,其开源地址为https://github.com/docker/compose。
Docker compose简介
●Docker Compose是一个定义及运行多个Docker容器的工具
●使用Docker Compose不再需要使用shell脚本来启动容器
●Docker Compose非常适合组合使用多个容器进行开发的场景
Docker Compose容器编排
YAML是一种标记语言很直观的数据序列化格式
文件格式及编写注意事项
- 不支持制表符tab缩进,需要使用空格缩进
- 通常开头缩进2个空格
- 字符后缩进1个空格,如冒号,逗号,横杠
- 用#号注释
- 如果包含特殊字符用单引号引起来
- 布尔值必须用引号括起来
●Docker Compose配置常用字段
●Docker Compose常用命令
Compose 命令说明
●基本的使用格式
Docker-compose [options] [COMMAND] [ARGS...]
●Docker-compose选项
- –verbose 输出更多调试信息
- –version 打印版本并退出
- -f, --file FILE 使用特点的compose 模板文件,默认为docker-compose.yml
- -p,–project-name NAME指定项目名称,默认使用目录名称
Compose部署nginx服务
推荐步骤
1.必须要下载compose工具,这边用xshell将软件包放到/opt目录下
2.用compose自动部署nginx
[root@localhost opt]# chmod +x docker-compose ##给工具执行权限
[root@localhost opt]# cp -p docker-compose /usr/local/bin/ ##让命令能够被识别
[root@localhost opt]# mkdir compose_nginx
[root@localhost opt]# cd compose_nginx/
[root@localhost compose_nginx]# mkdir nginx ##创建nginx目录存放dockerfile和工具包,启动脚本
[root@localhost compose_nginx]# cd nginx/
[root@localhost nginx]# vim Dockerfile
##基于基础镜像
FROM centos:7
##用户信息
MAINTAINER this is nginx image <cai>
##添加环境包
RUN yum -y update
RUN yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
##下载nginx环境包
ADD nginx-1.12.2.tar.gz /usr/local/src
WORKDIR /usr/local/src
##指定工作目录
WORKDIR nginx-1.12.2
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
RUN make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
##指定http和https端口
EXPOSE 80 ##80端口号
EXPOSE 443 ##https端口号
RUN echo "daemon off;">>/usr/local/nginx/conf/nginx.conf
##添加宿主机中run.sh到容器中
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]
[root@localhost nginx]# vim run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx
[root@localhost nginx]# vim run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx ##只放一条启动命令
[root@localhost compose_nginx]# vim docker-compose.yml ##编写compose
version: '3'
services:
nginx:
hostname: nginx
build:
context: ./nginx
dockerfile: Dockerfile
ports:
- 1216:80
- 1217:443
networks:
- yun
volumes:
- ./wwwroot:/usr/local/nginx/html
networks:
yun
[root@localhost compose_nginx]# docker-compose -f docker-compose.yml up -d ##启动服务
关闭防护功能,清空防火墙规则
[root@localhost compose_nginx]# setenforce 0
[root@localhost compose_nginx]# iptables -F
[root@localhost compose_nginx]# cd wwwroot/ ##进入站点
[root@localhost wwwroot]# vim index.html ##写入首页信息
<h1>this is test web</h1>
这时打开浏览器输入IP地址加端口号访问
这时如果想添加新的服务,只需要修改compose文件,添加tomcat
tomcat:
hostname: tomcat
build:
context: ./tomcat
dockerfile: Dockerfile
ports:
- 1218:8080 ##指定端口1218:8080
networks: ##network可以使用一样的
- yun
volumes:
- ./wwwroot:/usr/local/tomcat9/webapps/ROOT ##挂载数据卷,将wwwroot挂载到容器中tomcat的站点下
networks:
yun: ##可以使用同一网络yun
[root@localhost compose_nginx]# cd wwwroot/
[root@localhost wwwroot]# vim index.jsp
<h1>this is tomcat</h1> ##写入页面信息
[root@localhost wwwroot]# docker-compose -f docker-compose.yml up -d ##运行容器
这时打开网页访问输入:192.168.148.139:1218/index.jsp可以访问tomcat页面
二.Docker的网络通信概述:
端口映射
●端口映射机制将容器内的服务提供给外部网络访问
●可随机或指定映射端口范围
Docker run -d -P httpd:centos
Docker run -d -p 49888:80 httpd:centos
●指定端口映射
[root@localhost docker]# docker run -d -p 32778:80 192.168.148.139:5000/nginx ##给nginx服务映射指定端口32778
输入地址访问服务
●指定随机端口
[root@localhost docker]# docker run -d -P 192.168.148.139:5000/nginx ##给nginx服务随机分配端口
分配的端口为32769
输入地址访问服务
容器互联
●在源容器和接收容器间建立一条网络通信隧道
●使用docker run命令 --link选项实现容器间互联通信
举例:实现容器互联
1.先创建一个web11的容器,端口自动映射
[root@localhost docker]# docker run -itd -P --name web11 centos:7
[root@localhost www]# docker exec -it web11 /bin/bash ##进入web11容器
2.打开一个新的终端创建并运行容器取名web12 链接到web11与其通信
–link加对方容器的名称 镜像 bash环境
[root@localhost docker]# docker run -itd -P --name web12 --link web11:web11 centos:7 /bin/bash
[root@localhost docker]# docker exec -it web12 /bin/bash
3.在web12里ping web11
Docker网络
Docker网络单机拓扑图
docker网络详解
安装Docker时,它会自动创建三个网络,bridge(创建容器默认连接到此网络),none,host
●Host模式:
容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。
●Container模式:
创建的容器不会创建自己的网卡,配置自己的IP,而是和指定的容器共享IP,端口范围,所以container模式中:当一个容器宕掉后,另一个容器也会宕掉,因为是共享IP
●none模式:
该模式关闭了网络功能所以没有网络,没有网卡
●bridge桥接模式:
此模式会为每一个容器分配,设置IP等,并将容器连接到一个docker0虚拟网桥,通过docker0网桥以及iptables nat,docker中使用bridge是无法支持指定IP的
基于docker中使用bridge是无法支持指定IP的,这边我们做个测试
1.基于centos:7创建一个名为test1的容器,指定网络模式为桥接,指定IP地址为172.12.0.10
[root@localhost ~]# docker run -itd --name test1 --network bridge --ip 172.17.0.10 centos:7 /bin/bash
而且容器启动也会报错
如果想自定义网络IP的话,需要自定义网桥创建(适用于当服务器节点docker0挂掉后,又想快速让服务上线,就可以新建网桥,进行容器迁移)
可以通过自定义容器IP地址拓扑图去理解:
举例:创建新容器,指定IP地址
[root@localhost ~]# docker network create --subnet=172.18.0.0/24 newnetwork ##创建一个新网桥,名字为newnetwork 网段为:172.18.0.0/24
[root@localhost ~]# docker run -itd --name test --net newnetwork --ip 172.18.0.5 centos:7 /bin/bash ##创建新的容器test,指定IP地址为172.18.0.5
[root@localhost ~]# docker exec -it 6e687cbf8825 /bin/bash ##进入容器
[root@6e687cbf8825 /]# yum -y install net-tools ##安装ifconfig命令包
[root@localhost ~]# docker network ls ##可以查看docker的网络模式
三.docker Consul概述:
Consul是什么
●Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置
●Consul是一个分布式、高可用的系统,是一个为了解决在生产环境中服务注册,服务发现,服务配置的一个工具,它有多个组件,提供如下几个关键功能:
- 服务发现: Consul的某些客户端可以提供一个服务,例如api或者mysql,其它客户端可以使用Consul去发现这个服务的提供者。使用DNS或者HTTP,应用可以很容易的找到他们所依赖的服务。
- 健康检查: Consul客户端可以提供一些健康检查,这些健康检查可以关联到一个指定的服务(服务是否返回200 OK),也可以关联到本地节点(内存使用率是否在90%以下)。这些信息可以被一个操作员用来监控集群的健康状态,被服务发现组件路由时用来远离不健康的主机。
- 键值存储: 应用可以使用Consul提供的分层键值存储用于一些目的,包括动态配置、特征标记、协作、leader选举等等。通过一个简单的HTTP API可以很容易的使用这个组件。
- 多数据中心: Consul对多数据中心有非常好的支持,这意味着Consul用户不必担心由于创建更多抽象层而产生的多个区域。
●为什么要用它?
现在企业应用都向微服务化方向发展,当把我们的系统功能拆分成一个一个的微服务后,存在以下问题
- 需要配置N个服务的网络位置,加大配置的复杂性
- 服务的网络位置变化,都需要改变每个调用者的配置
- 集群的情况下,难以做负载(反向代理的方式除外)
那我们该如何处理呢? 这个时候我们就可以通过使用 服务发现 机制系统,来帮助我们来管理这些繁杂的配置。
服务A-N把当前自己的网络位置注册到服务发现模块(这里注册的意思就是告诉),服务发现就以K-V的方式记录下,K一般是服务名,V就是IP:PORT。服务发现模块定时的轮询查看这些服务能不能访问的了(这就是健康检查)。客户端在调用服务A-N的时候,就跑去服务发现模块问下它们的网络位置,然后再调用它们的服务。这样的方式是不是就可以解决上面的问题了呢?客户端完全不需要记录这些服务网络位置,客户端和服务端完全解耦!
基于nginx和consul构建高可用及自动发现的Docker服务架构
●上方拓扑图是基于Docker完成的,然后将consul、consul template、registrator和nginx组装成一个值得信任且可扩展的服务框架,此架构可以灵活的、不需要重启任何服务、不需要重写任何配置的添加和移除服务
●拓扑图解释
- consul template:配置文件模板
- registrator:注册机制
- consul server:consul服务
- 例如:当后方增加了一个容器时,容器会注册registrator,registrator发现增加了一个容器的时候,会通知consul server要更新,consul server使用consul template模板更新
●Docker consul自动发现服务架构的构建
1、每个提供服务的节点上都要部署和运行consul的agent
2、consul agent有两种运行模式:server和client
3、server和client只是consul集群层面的区分,与搭建在cluster之上的应用服务无关
Consul的特性
●支持健康坚持,允许存储键值对
●基于Golong语言,可移植性强
●支持ACL访问控制
●与Docker等轻量级容器可无缝配合
Docker consul部署nginx反向代理实验
实验环境
推荐步骤
[root@localhost ~]# hostnamectl set-hostname consul
[root@consul ~]# mkdir /root/consul
[root@consul ~]# cd /root/consul/
1.将consul的工具包放到consul的目录下
[root@consul consul]# unzip consul_0.9.2_linux_amd64.zip ##解压consul工具
[root@consul consul]# mv consul /usr/local/bin/ ##让命令能够识别
[root@consul ~]# mkdir compose
[root@consul ~]# cd compose/
[root@consul compose]# chmod +x docker-compose ##给执行权限
[root@consul compose]# ls
docker-compose
[root@consul compose]# mv docker-compose /usr/local/bin/ ##配置让命令能够识别
2.在主节点上部署consul
[root@consul compose]# cd ../consul/
[root@consul consul]# consul agent \ ##设置代理
> -server \ ##服务功能
> -bootstrap \ ##参与选举
> -ui \ ##前端web节点
> -data-dir=/var/lib/consul-data \ ##提供一个代理存储数据目录
> -bind=192.168.148.139 \ ##绑定本地地址
> -client=0.0.0.0 \ ##面对的客户地址,这边配置0.0.0.0任意地址
> -node=consul-server01 &> /var/log/consul.log& ##定义节点名称,日志混合输出到log,并且放到后台运行
[1] 7162 ##提供了一个进程号
[root@consul consul]# jobs ##用jobs命令可以查看到
[1]+ 运行中 consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=192.168.148.139 -client=0.0.0.0 -node=consul-server01 &>/var/log/consul.log &
查看集群信息
[root@consul consul]# consul members
[root@consul ~]# consul info ##查看节点具体信息
[root@consul ~]# consul info | grep leader ##单独查看leader节点信息
leader = true
leader_addr = 192.168.148.139:8300 ##地址
可以通过httpd api获取集群信息
curl 127.0.0.1:8500/v1/status/peers '/查看集群server成员'
curl 127.0.0.1:8500/v1/status/leaders '//查看集群Raf leader'
curl 127.0.0.1:8500/v1/catalog/services '//查看注册的所有服务'
curl 127.0.0.1:8500/v1/catalog/nginx '//查看nginx服务的信息'
curl 127.0.0.1:8500/v1/catalog/nodes '//集群节点详细信息'
二.在容器服务的节点上进行配置
安装gistrator:可以检查容器运行状态,自动注册,还可以注销docker容器的服务到服务配置中心,Registratro:会自动对接consul服务端
[root@localhost ~]# hostnamectl set-hostname docker ##修改主机名方便区分
[root@localhost ~]# su
[root@docker ~]# setenforce 0 ##关闭防护系统
[root@docker ~]# iptables -F ##清空防火墙规则
[root@docker ~]# systemctl start docker ##开启容器服务
[root@docker ~]# docker run -d \
> --name=registrator \ ##容器名
> --net=host \ ##网络为hosts(仅主机)
> -v /var/run/docker.sock:/tmp/docker.sock \ ##建立数据卷
> --restart=always \ ##重启策略为always
> gliderlabs/registrator:latest \ ##镜像
> -ip=192.168.148.140 \ ##容器节点本机的IP
> consul://192.168.148.139:8500 ##指向consul地址
1.测试服务是否正常运行,运行服容器务实例
[root@docker ~]# docker run -itd -p:83:80 --name test01 -h test01 nginx ##运行两台nginx容器
[root@docker ~]# docker run -itd -p:84:80 --name test02 -h test02 nginx
[root@docker ~]# docker run -itd -p:88:80 --name test03 -h test03 httpd ####运行两台httpd容器
[root@docker ~]# docker run -itd -p:89:80 --name test04 -h test04 httpd
3.回到consul服务端,刷新浏览器页面观察consul端是否监测节点服务器的容器变化
所以对接关系建立成功,回到consul服务器上查看服务
[root@consul ~]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}[root@consul ~]# ##显示容器有httpd和nginx的服务
安装consul-template
Consul-template是一个守护进程,用于实时查询Consul集群信息,并更新文件系统上任意数量的指定模板,生成配置文件,更新完成后,可以选择运行shell命令执行更新操作,重新加载nginx
4.consul节点编写template nginx模板文件
[root@consul consul]# vim nginx.ctmpl ##编写模板文件
upstream http_backend {
{{range service "nginx"}}
server {{.Address}}:{{.Port}};
{{end}}
}
server {
listen 83; ##监听端口为83
server_name localhost 192.168.148.139; ##IP地址就为consul服务器本机的地址
access_log /var/log/nginx/tang.cn-access.log; ##访问日志文件位置
index index.html index.php; ##识别首页类型
location / { ##实现的跳转参数
proxy_set_header HOST $host; ##$host本机地址
proxy_set_header X-Real-IP $remote_addr; $remote_addr来访者地址
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ##来访者请求进行转发
proxy_pass http://http_backend; ##负载均衡调用给后端
}
}
5.编译安装nginx
[root@consul consul]# yum install gcc gcc-c++ make expat* pcre* perl* zlib* -y ##安装环境包
将工具包放到/opt目录下
[root@consul opt]# tar zxvf nginx-1.12.2.tar.gz
[root@consul opt]# cd nginx-1.12.2/
[root@consul nginx-1.12.2]# ./configure --prefix=/usr/local/nginx ##这边只指定安装目录
[root@consul nginx-1.12.2]# make && make install ##编译安装
[root@consul nginx]# cd /usr/local/nginx/conf/
[root@consul conf]# vim nginx.conf ##修改nginx配置文件
events {
worker_connections 1024;
}
http {
include mime.types;
include vhost/*.conf; ##添加路径
default_type application/octet-stream;
[root@consul conf]# mkdir /usr/local/nginx/conf/vhost ##创建虚拟主机目录
[root@consul conf]# mkdir /var/log/nginx ##创建日志文件位置
[root@consul conf]# /usr/local/nginx/sbin/nginx ##启动服务
6.配置template
[root@consul conf]# cd /root
[root@consul ~]# cd consul/
[root@consul consul]# unzip consul-template_0.19.3_linux_amd64.zip ##解压template工具
[root@consul consul]# mv consul-template /usr/local/bin/ ##让命令系统能够识别
[root@consul consul]# consul-template -consul-addr 192.168.148.139:8500 \ ##指明consul的地址为本地地址
> -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \ ##将模板文件生成到vhost中,重载服务配置,产生日志文件
> --log-level=info ##日志级别为info级别
重新打开一个consul的终端,查看vhost目录是否自动生成配置文件
[root@consul conf]# cd /usr/local/nginx/conf/vhost/ ##进入vhost目录
[root@consul vhost]# vim test.conf
7.这时打开浏览输入地址查看是否访问成功,并且测试是否轮询
在服务端再次添加一个新的nginx容器
[root@docker ~]# docker run -itd -p:85:80 --name test05 -h test05 nginx
打开多个服务终端,访问多次页面在test01的容器上查看日志信息
访问多次页面在test02的容器上查看日志信息
访问多次页面在test05的容器上查看日志信息
发现是采用轮询的方法去访问节点