目录
什么是consul,有什么作用
consul是HashiCorp公司推出使用go语言编写的开源工具,用于实现分布式系统的服务发现与配置
具有如下特性:
- 1、consul支持健康检查,允许存储键值对
- 2、一致性协议采用Raft算法,用来保证服务的高可用
- 3、成员管理和消息广播采用GOSSIP协议,支持ACL访问控制
- 4、方便部署,与Docker等轻量级容器可无缝配合
1.Consul的作用
如上图所示,生产环境下,我们只需要前端的Nginx能够与后端的web服务器建立联系,反向代理功能能够完成就OK了
但是如果后端服务器要加节点了怎么办,可能第一时间想到的是去Nginx配置文件加上指向后端web地址就可以了,但是如果后端跑的是容器,少量节点还可以人工手动配置,如果这个时候后端节点增加的是1000台,10000台,靠人工添加是特别特别繁琐的
而且在日常维护中,后端节点突然down掉,容器down掉呢?任务量可想而知
consul:提供了自动发现与更新服务,不管你后端加容器还是减少容器,自动帮你完成配置文件的更新
2.consul是如何做到做到服务的自动发现与更新呢?
- 图解:
上方拓扑图是基于Docker完成的,然后将consul、consul template、registrator和nginx组装成一个值得信任且可扩展的服务框架,此架构可以灵活的、不需要重启任何服务、不需要重写任何配置的添加和移除服务
前端Nginx做反向代理,server_1,server_2是裸金属节点,节点中跑了多个容器
Nginx还跑了一个consul(服务的自动发现与更新)
|反向代理只需要指向后端的容器
如果容器down了,或者新加了容器,减少了容器,其中的地址,端口都会随着它发生改变
Nginx.conf文件也会变化,
变化的精髓就在consul template模板,它会将变化的东西写成变量,不变的则正常写入,有了这个模板之后,就放在这,有了变化之后就可以利用这个模板修改原有的nginx.conf
- 如何发现变化?
Consul agent负责监控下端节点反馈的信息,监控功能依赖于registrator,所以说对于跑业务的节点,需要安装registrator,registrator会定期的发送报告给Consul agent,告诉它我哪些东西改变了
Consul agent再将报告发送给consul server,consul server将请求信息发送给consul template,consul template根据请求修改nginx.conf
- 注意点:
后端业务节点需要安装registrator自动注册机制,监控的节点要装consul server,还需要consul template模板,consul server中自带agent,所以装了server就行了
Docker consul自动发现服务架构的构建
1.底层环境
服务器: | 20.0.0.21 | Docker-ce | Compose 3 | Consul | Consul-template |
---|---|---|---|---|---|
服务器: | 20.0.0.22 | Docker-ce | registrator | ||
环境 | 防火墙与内核全关 |
2.docker安装
3.配置consul服务器
[root@docker ~]# mkdir consul
[root@docker ~]# cd consul/
##将软件包拖进来##
unzip consul_0.9.2_linux_amd64.zip
###解压后会有一个执行命令###
[root@docker consul]# unzip consul_0.9.2_linux_amd64.zip
Archive: consul_0.9.2_linux_amd64.zip
inflating: consul
[root@docker consul]# ls
consul
consul-template_0.19.3_linux_amd64.zip
consul_0.9.2_linux_amd64.zip
##放到bin下交给系统管理与识别
[root@docker consul]# mv consul /usr/bin/
###配置consul####
[root@docker consul]# consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.21 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &
#########脚本解释###########
-server:里面会以前端的页面形式展现出来
-bootstrap:所以需要安装前端的脚本bootstrap
-ui:ui界面
-data-dir:数据的存放目录
-bind: 绑定本地地址
-client=0.0.0.0 监听任意客户端网段发来的通告信息(可以监控后面的容器发生了什么样的变化)
-node:声明node节点名称, &>表述混合输出,最后一个&,表示放到后台运行
########################脚本解释################3
####查看集群信息,这里出现一个报错,是因为我把server敲成了serber
[root@docker consul]# consul members
Error retrieving members: Get http://127.0.0.1:8500/v1/agent/members: dial tcp 127.0.0.1:8500: getsockopt: connection refused
解决:[root@docker consul]# pkill -9 consul 再将consul脚本再执行一遍
##查看集群信息
[root@docker consul]# consul members
Node Address Status Type Build Protocol DC
consul-server01 20.0.0.21:8301 alive server 0.9.2 2 dc1
##查看consul的领导者
###端口号8300的开放,是为了方便node节点的registrator(注册器)与它通讯
[root@docker consul]# consul info | grep leader
leader = true
leader_addr = 20.0.0.21:8300
####还可以通过httpd api 获取集群信息####
curl 127.0.0.1:8500/v1/status/peers ###查看集群成员
["20.0.0.21:8300"]
curl 127.0.0.1:8500/v1/status/leader ##查看集群的老大
"20.0.0.21:8300"
curl 127.0.0.1:8500/v1/catalog/services ##查看所有注册的服务
{"consul":[]}
curl 127.0.0.1:8500/v1/status/nginx ##查看nginx的服务信息,因为这个时候我还没有开服务所以显示为空
curl 127.0.0.1:8500/v1/catalog/nodes ##查看集群节点详细信息
[{"ID":"75c320a5-e04c-ca23-b8e5-b7439f6ad73c","Node":"consul-server01","Address":"20.0.0.21",
"Datacenter":"dc1","TaggedAddresses":{"lan":"20.0.0.21","wan":"20.0.0.21"},"Meta":{},"CreateIndex":5,"ModifyIndex":6}]
打开浏览器访问20.0.0.21:8500
4.配置容器服务器
1.安装Gliderlabs/Registrator Gliderlabs/Registrator
可检查容器运行状态自动注册,还可注销docker容器的服务到服务配置中心。
目前支持Consul、Etcd和SkyDNS2。
在20.0.0.22节点,执行以下操作:
###首先要安装docker-ce######安装完之后####
[root@node ~]# docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=20.0.0.22 \
consul://20.0.0.21:8500
#########脚本解释##########
--name:指定容器的名称
--net=host : 指定里面的网络形式 host仅主机
-v 数据卷,前面是宿主机的,后面的是容器的,注意:里面联通的是sock,为了里外相互联通
--restart : always 重启策略,一旦容器发现down状态,会对容器始终进行重启(always)
镜像来自于gliderlabs仓库,名字为redistrator,标签为latest
-ip:本地的IP地址
Consul://指向master地址,服务端口8500
####################脚本注释########################
####查看镜像###########
[root@node ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
gliderlabs/registrator latest 3b59190c6c80 4 years ago 23.8MB
####到20.0.0.21主机查看8500端口可以看到两个服务器都在#######
[root@docker consul]# netstat -anutp | grep 8500
tcp6 0 0 :::8500 :::* LISTEN 48701/consul
tcp6 0 0 20.0.0.21:8500 20.0.0.22:60366 ESTABLISHED 48701/consul
###http://20.0.0.21:8500/这个时候可以刷新浏览器########
###因为现在还没有容器,所以是空的#######
##创建容器,测试consul是否能够自动发现
20.0.0.22:
docker run -itd -p 83:80 --name test-01 nginx
docker run -itd -p 84:80 --name test-02 nginx
docker run -itd -p 88:80 --name test-03 httpd
docker run -itd -p 89:80 --name test-04 httpd
##端口号冲突报错,改成84:80######
[root@node ~]# docker run -itd -p 83:80 --name test-02 nginx
3d1842a261dfdd7faa70feffb2fe53f5890b6c635e6ca8265ac184149e358656
docker: Error response from daemon: driver failed programming external connectivity on
endpoint test-02 (760dca26264e173f84cc0230836b3275eaf652374cbcd1ed240856b747222b1e): Bind
for 0.0.0.0:83 failed: port is already allocated.
#########这个时候你再打开20.0.0.21:8500,点击NODES后会看到自动发现了20.0.0.22上的4个服务###
#####查看镜像状态#####
[root@node ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4e9c21eeafbe httpd "httpd-foreground" 2 minutes ago Up About a minute 0.0.0.0:89->80/tcp test-04
e6ce7832e809 httpd "httpd-foreground" 2 minutes ago Up 2 minutes 0.0.0.0:88->80/tcp test-03
3fcbe2a4d7a1 nginx "/docker-entrypoint.…" 5 minutes ago Up 5 minutes 0.0.0.0:84->80/tcp test-02
5821bd0c9b49 nginx "/docker-entrypoint.…" 6 minutes ago Up 6 minutes 0.0.0.0:83->80/tcp test-01
67582691ae53 gliderlabs/registrator:latest "/bin/registrator -i…" 16 minutes ago Up 16 minutes registrator
##这个时候再次查看master上所有注册的服务#####,可以看到多了nginx与httpd服务###
[root@docker consul]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}
5.安装consul-template
- Consul-Template是一个守护进程,
用于实时查询Consul集群信息,并更新文件系统上任意数量的指定模板,生成配置文件。更新完成以后,可以选择运行shell命令执行更新操作,重新加载Nginx。Consul-Template可以查询Consul中的服务目录、Key、Key-values等。这种强大的抽象功能和查询语言模板可以使Consul-Template特别适合动态的创建配置文件。
例如:创建Apache/Nginx Proxy Balancers、Haproxy Backends
#####首先准备template nginx模板文件#######在consul主机:20.0.0.21
[root@docker consul]# cd ~
[root@docker ~]# cd consul/
###创建模板###########
[root@docker consul]# vim nginx.ctmpl ##模板固定后缀.ctmpl,consul-template的缩写
##consul-server发现变化后,将地址与端口写入参数中,转发给consul-template,consul-template直接调用API,将值写进nginx.conf
##range:范围,是遍历的手法,相当于for循环
upstream http_backend { ##upstream表示做的是4层转发,nginx可以同时做4层与7层转发,lvs只能做4层转发
{{range service "nginx"}} ##争对于于nginx,它把它转发的请求转发给了nginx,range
server {{.Address}}:{{.Port}}; ##这里定义了两个API(内置变量),Address地址,Port端口
{{end}} ##相当于for中的break,退出循环
}
##nginx中有多个功能模块,转发可以是从server中的local段进行###
server {
listen 83; ##添加的监听端口,以防端口冲突,随便定义,访问20.0.0.21:83/80都可以
server_name localhost 20.0.0.21; ##本地IP地址
access_log /var/log/nginx/ZZT.cn-access.log; ##日志文件存放位置
index index.html index.php; ##支持的首页类型
location / { ##location中可以实现跳转,依赖于proxy_pass(反向代理转发模块)
proxy_set_header HOST $host; ##开头要对请求转发头部做定义:HOST $host表示来访者的主机名,就是主机头信息
proxy_set_header X-Real-IP $remote_addr; ##$remote_addr是一个内置变量,表示的是请求者的地址,远端请求的地址
proxy_set_header Client-IP $remote_addr; ##含有同上,都表示请求者的地址,远端请求的地址
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ##X-Forwarded-For表示转发,转发的是$proxy_add_x_forwarded_for,它代表的是反向代理的所谓的路径
proxy_pass http://http_backend; ##重点!!!:proxy_pass(反向代理转发模块),proxy_pass启用的是http协议,加载的是http_backend这个函数模块
} ##http_backend这个是自己写的,它来自哪里?看第一行!!!!
}
######这个时候在本地(20.0.0.21)安装一个nginx,充当着反向代理#########
[root@docker consul]# yum -y install gcc gcc-c++ zlib-devel pcre-devel
将nginx包源拖进/opt
[root@docker nginx]# cd /opt/
[root@docker opt]# tar zxvf nginx-1.15.9.tar.gz
[root@docker opt]# cd nginx-1.15.9/
[root@docker nginx-1.15.9]# ./configure --prefix=/usr/local/nginx
[root@docker nginx-1.15.9]# make && make install
[root@docker nginx-1.15.9]# cd /usr/local/nginx/conf/
[root@docker conf]# vim nginx.conf
##19行添加###
19 include vhost/*.conf;
##include表示包含,包含的路径 vhost/下的任何.conf都能识别##
##所以等会更新的子配置文件要放到vhost/下###
###因为vhost还没有,所以我们需要创建
[root@docker conf]# mkdir /usr/local/nginx/conf/vhost
##还需要创建template模板中写的日志存放位置##
[root@docker conf]# mkdir /var/log/nginx
##做完这个时候就可以启动nginx了##
[root@docker conf]# /usr/local/nginx/sbin/nginx
[root@docker conf]# netstat -anutp | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 52639/nginx: master
###接下来让template模板起作用,####
##先解压consul-template,因为我这个时候还没安装consul-template###
将包源拖进/opt下面
[root@docker vhost]# cd /opt/
[root@docker opt]# unzip consul-template_0.19.3_linux_amd64.zip
[root@docker opt]# mv consul-template /usr/bin/
###接下来让template模板起作用###
[root@docker opt]# consul-template -consul-addr 20.0.0.21:8500 \
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/zzt.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info
/root/consul/nginx.ctmpl模板位置
/usr/local/nginx/conf/vhost/zzt.conf 模板生成的配置文件放到的位置并起个名字叫zzt.conf
/usr/local/nginx/sbin/nginx -s reload 对nginx进行重载
--log-level=info 生成日志的级别:info(信息级别)
###执行后进入监听状态,你重新打开一个20.0.0.21的终端,看一下zzt.conf有没有生成到/usr/local/nginx/conf/vhost/下
#########如果出现报错###########
nginx: [emerg] unknown directive "server20.0.0.6:83}" in /usr/local/nginx/conf/vhost/zzt.conf:3
2020/11/16 12:00:26.042823 [ERR] (cli) 1 error occurred:
* failed to execute command "/usr/local/nginx/sbin/nginx -s reload" from "/root/consul/nginx.ctmpl" => "/usr/local/nginx/conf/vhost/zzt.conf": child: command exited with a non-zero exit status:
/usr/local/nginx/sbin/nginx -s reload
###################################
解决思路,删除vhost下面的模板配置文件,检查template模板语法问题与nginx.conf配置文件
最后发现是模板格式问题,重新编写就好了
###########################################
###生成就代表成功了#####
##使用另外一个终端查看#########
[root@docker ~]# cd /usr/local/nginx/conf/vhost/
[root@docker vhost]# ls
zzt.conf
[root@docker vhost]# vim zzt.conf
upstream http_backend {
server 20.0.0.22:83; ###地址自动被写入了
server 20.0.0.22:84;
}
server {
listen 83;
server_name localhost 20.0.0.21;
//...............................//
##查看端口是否
[root@docker vhost]# netstat -anutp | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 52639/nginx: master
tcp 0 0 0.0.0.0:83 0.0.0.0:* LISTEN 52639/nginx: master
[root@docker vhost]# netstat -anutp | grep 80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 52639/nginx: master
[root@docker vhost]# netstat -anutp | grep 83
tcp 0 0 20.0.0.21:8300 0.0.0.0:* LISTEN 48701/consul
tcp 0 0 20.0.0.21:8301 0.0.0.0:* LISTEN 48701/consul
tcp 0 0 20.0.0.21:8302 0.0.0.0:* LISTEN 48701/consul
tcp 0 0 0.0.0.0:83 0.0.0.0:* LISTEN 52639/nginx: master
tcp 0 0 127.0.0.1:6010 0.0.0.0:* LISTEN 1831/sshd: root@pts
tcp 0 0 20.0.0.21:44525 20.0.0.21:8300 TIME_WAIT -
tcp 0 0 20.0.0.21:22 20.0.0.1:58235 ESTABLISHED 1831/sshd: root@pts
tcp6 0 0 ::1:6010 :::* LISTEN 1831/sshd: root@pts
udp 0 0 20.0.0.21:8301 0.0.0.0:* 48701/consul
udp 0 0 20.0.0.21:8302 0.0.0.0:* 48701/consul
###打开笔记本访问浏览器,生成日志文件
###这个时候浏览器打开20.0.0.21:80 20.0.0.21:83 都能访问####
###查看访问日志###
[root@docker vhost]# cd /var/log/nginx/
[root@docker nginx]# ls
ZZT.cn-access.log
[root@docker nginx]# cat ZZT.cn-access.log
20.0.0.1 - - [15/Nov/2020:02:04:49 +0800] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
20.0.0.1 - - [15/Nov/2020:02:04:49 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://20.0.0.21:83/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"
6.验证反向代理的轮询机制
###为了验证Nginx是不是开启了反向代理,我们需要进入容器查看访问信息###
在20.0.0.22服务器操作:
###test-01和test-01是我们容器中的nginx##
[root@node ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4e9c21eeafbe httpd "httpd-foreground" 2 hours ago Up 2 hours 0.0.0.0:89->80/tcp test-04
e6ce7832e809 httpd "httpd-foreground" 2 hours ago Up 2 hours 0.0.0.0:88->80/tcp test-03
3fcbe2a4d7a1 nginx "/docker-entrypoint.…" 2 hours ago Up 2 hours 0.0.0.0:84->80/tcp test-02
5821bd0c9b49 nginx "/docker-entrypoint.…" 2 hours ago Up 2 hours 0.0.0.0:83->80/tcp test-01
67582691ae53 gliderlabs/registrator:latest "/bin/registrator -i…" 2 hours ago Up 2 hours registrator
####可以看到后端是轮询访问###
[root@node ~]# docker logs -f test-01
20.0.0.21 - - [15/Nov/2020:02:04:53 +0000] "GET / HTTP/1.0" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36" "20.0.0.1"
[root@node ~]# docker logs -f test-02
2020/11/15 02:04:53 [error] 28#28: *1 open() "/usr/share/nginx/html/favicon.ico" failed (2: No such file or directory), client: 20.0.0.21, server: localhost, request: "GET /favicon.ico HTTP/1.0", host: "20.0.0.21", referrer: "http://20.0.0.21:83/"
20.0.0.21 - - [15/Nov/2020:02:04:53 +0000] "GET /favicon.ico HTTP/1.0" 404 555 "http://20.0.0.21:83/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36" "20.0.0.1"
7.验证自动发现与更新服务
###我再创建个nginx,创建完成后,刷新你的笔记本浏览器,在看新建的容器的访问日志###
[root@node ~]# docker run -itd -p 85:80 --name test-05 nginx
[root@node ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f4dee7f087e9 nginx "/docker-entrypoint.…" 6 seconds ago Up 5 seconds 0.0.0.0:85->80/tcp test-05
4e9c21eeafbe httpd "httpd-foreground" 2 hours ago Up 2 hours 0.0.0.0:89->80/tcp test-04
e6ce7832e809 httpd "httpd-foreground" 2 hours ago Up 2 hours 0.0.0.0:88->80/tcp test-03
3fcbe2a4d7a1 nginx "/docker-entrypoint.…" 2 hours ago Up 2 hours 0.0.0.0:84->80/tcp test-02
5821bd0c9b49 nginx "/docker-entrypoint.…" 2 hours ago Up 2 hours 0.0.0.0:83->80/tcp test-01
67582691ae53 gliderlabs/registrator:latest "/bin/registrator -i…" 2 hours ago Up 2 hours registrator
##可以看到是轮询##
[root@node ~]# docker logs -f test-05
20.0.0.21 - - [15/Nov/2020:02:17:30 +0000] "GET / HTTP/1.0" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36" "20.0.0.1"
##########访问20.0.0.21:8500,可以看到consul也增加了#########
###打开20.0.0.21查看模板自动更新了###
[root@docker nginx]# cd /usr/local/nginx/conf/vhost/
[root@docker vhost]# ls
zzt.conf
[root@docker vhost]# cat zzt.conf
upstream http_backend {
server 20.0.0.22:83;
server 20.0.0.22:84;
server 20.0.0.22:85;
}
###再来验证一下容器down掉会不会自动减少####
[root@node ~]# docker stop test-01
test-01
[root@node ~]# docker rm test-01
test-01
[root@node ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f4dee7f087e9 nginx "/docker-entrypoint.…" 7 minutes ago Up 7 minutes 0.0.0.0:85->80/tcp test-05
4e9c21eeafbe httpd "httpd-foreground" 2 hours ago Up 2 hours 0.0.0.0:89->80/tcp test-04
e6ce7832e809 httpd "httpd-foreground" 2 hours ago Up 2 hours 0.0.0.0:88->80/tcp test-03
3fcbe2a4d7a1 nginx "/docker-entrypoint.…" 2 hours ago Up 2 hours 0.0.0.0:84->80/tcp test-02
67582691ae53 gliderlabs/registrator:latest "/bin/registrator -i…" 2 hours ago Up 2 hours registrator
###刷新consul页面,减少了!!!!###
###打开20.0.0.21查看模板自动更新了###
[root@docker vhost]# cat zzt.conf
upstream http_backend {
server 20.0.0.22:84;
server 20.0.0.22:85;
}
################实验完成#######################
8.consul添加多节点
//添加一台已有docker环境的服务器20.0.0.23加入到已有集群中
//将consul_0.9.1_linux_amd64.zip拖进/opt,解压完成之后,移到/usr/bin/下面
[root@docker consul]# consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.21 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-checks=true \
-datacenter=dc1 \
-join 20.0.0.21 &> /var/log/consul.log &
-enable-script-checks=true:设置检查服务为可用
-datacenter:已经有的数据中心名称
-join:加入到已有的群集中,所以IP要写20.0.0.21