Consul 集群搭建

已于 2024-09-25 18:47:28 修改
阅读量611 收藏 22
点赞数 12
文章标签： consul
于 2024-09-25 18:45:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43917593/article/details/142524455
版权

前言

最近公司项目需要用到consul 集群，根据网上信息踩了很多坑，将自己的操作进行分享。

一、consul

consul介绍

Consul是Go语言写的开源 的服务器发现软件，用于实现 分布式系统的服务发现与配置,包含 多个组件,作为一个整体,它为基础设施提供服务发现和服务配置的工具,提供以下关键特性:

  • 服务发现：consul通过DNS或者HTTP接口使服务注册和服务发现变的很容易，一些外部服务,例如saas提供的也可以一样注册,consul采用Raft一致性协议算法来保证服务的高可用,使用GOSSIP协议管理成员和广播消息
  • 健康检查：健康检测使consul可以快速的告警在集群中的操作,和服务发现的集成，可以防止服务转发到故障的服务上面(心跳机制)
  • 键/值存储：一个用来存储动态配置的系统,提供简单的HTTP接口，可以在任何地方操作
  • 多数据中心方案支持：无需复杂的配置，即可支持任意数量的区域
  • 简易安装:安装包仅包含一个二进制文件,支持跨平台,可与Docker等轻量级容器实现无缝对接
  • 提供Web管理界面:官方提供web管理界面

官方建议：最好是三台或者三台以上的consul在运行，同名服务最好是三台或三台以上，默认可以搭建集群

consul安装

下载地址: Install | Consul | HashiCorp Developer

以linux  服务器操作

将consul 压缩包解压到/usr/local/consul目录下，在该目录下新建data、config 文件夹和consul.log 日志文件

查询安装结果

[root@localhost ~]# cd /usr/local/consul/
[root@localhost ~]# ./consul -v

二、consul集群搭建

consul的角色

完成consul的安装后，必须运行 agent, agent可以运行为 server模式、 client模式或者 dev模式, 每个数据中心至少必须拥 有一台serve,建议在一个集群中有 3或者5个server,因为部署单一server，在出现失败时，也许会不可避免的出现数据丢失

  • client客户端角色: 将 HTTP 和 DNS 接口请求转发给局域网内的Server服务端集群

  • server服务端角色 :保存配置信息、实现高可用集群、在局域网内与本地客户端通讯、通过广域网与其他数据中心通讯等, 每个数据中心(集群)的 server 数量推荐为3个或是5个

  • 开发模式：主要用于开发阶段（dev模式也是server模式)

consul安装好之后，在使用之前,先了解一下consul都有哪些命令,使用命令 consul -h可以查看consul支持的所有参数，而且每个参数里面还支持其他参数

consul的服务端和客户端

Consul 是 HashiCorp 公司推出的开源工具，用于实现 分布式系统的服务发现与配置,Consul 是 分布式的、 高可用的、 可横向扩展的,完成consul的安装后，必须运行 agent代理, agent可以运行为 server模式、 client模式

  • 服务模式(server模式): 主要参与维护集群状态，响应RPC查询，与其他数据中心交换WAN gossip ，以及向上级或远程数据中心转发查询，并且会将数据持久化,推荐使用3到5台机器
  • 客户模式(client模式):客户模式下ConsulAgent是一个非常轻量级的进程，它消耗最小的资源开销和少量的网络带宽，提供注册服务，运行健康检查，并将查询转发给服务器,客户端是相对无状态的，客户端执行的唯一后台活动是LANgossip池，不负责数据的持久化,客户模式不能单独存在，必须要有一个服务模式的Consul
  • 数据中心:一个数据中心由多个Server和Client模式Consul组成,多个数据中心通过WAN通信,每个数据中心(数据中心是一个大型的计算机系统集群，通常由成千上万台计算机、存储设备、网络设备、电源设备、冷却设备等组成，以提供高效、可靠的计算和存储能力,主要功能是提供云计算、虚拟化、存储和数据处理等服务，以满足企业、政府机构和个人的计算和数据存储需求,是现代企业和政府机构不可或缺的基础设施之一)至少必须拥有一台server,建议在一个集群中有3或者5个server,部署单一server，在出现失败时，会不可避免的出现数据丢失

图片上 datacenter 分成上下两个部分， 但是这两个部分又不是完全隔离的,他们之间通过 WAN GOSSIP 进行报文交互,单个 datacenter 中,节点被划分成两种颜色， 红色的 server, 紫色的 client, 他们之间通过 GRPC 进行通信(业务数据）， 除此之外， Client 和 Server 之间通过还有一条 LAN Gosssip 进行通信，比如，当 Server 节点增加，或者 down 机后，Client 可以获取对应的 Server列表，去除或者增加 Server 列表,同一个 Consul agent 程序，启动的时候，通过制定不同的参数来运行 Server 和 Client 模式,也就是说 client 和 server 本质上都是 Client Agent

一个client是一个非常 轻量级的进程，用于 注册服务,运行 健康检查和 转发对server的查询，每个数据中心 至少必须拥有一个server,agent必须在集群中的每个主机上运行,
注意：
server也可以用于注册服务，比如前面运行的 consul agent -dev ,但是正式上线后一般 通过client注册服务，使用保存配置信息、实现高可用集群、通过广域网与其他数据中心通讯等

Server功能
  • 参与共识仲裁（raft）
  • 存储机器状态(日志存储）
  • 处理查询
  • 维护周边（LAN/WAN) 节点之间的关系
Client功能
  • 负责通过该节点注册到 Consul 微服务的健康检查
  • 将客户端的注册请求和查询转换为 server 的 RPC 请求
  • 维护周边各节点（LAN/WAN) 的关系

Client-Server 架构模式搭建

Server端：172.16.11.219、172.16.11.220、172.16.11.221

Client端：172.16.11.214、172.16.11.215

启动服务端

172.16.11.219执行

nohup ./consul agent -server -data-dir=/usr/local/consul/data -node=server1 -bind=172.16.11.219 -client=172.16.11.219 -advertise=172.16.11.219 -bootstrap-expect 3 -datacenter=datacenter1 -ui -enable-script-checks=true -config-dir=/usr/local/consul/config -server-port=8300 -serf-lan-port=8301 -serf-wan-port=8302 -http-port=8500 -dns-port=8600 > /usr/local/consul/consul.log 2>&1 &

172.16.11.220执行

修改data -node=server2、新增 -join=172.16.11.219:8301

nohup ./consul agent -server -data-dir=/usr/local/consul/data -node=server2 -bind=172.16.11.220 -client=172.16.11.220 -advertise=172.16.11.220 -join=172.16.11.219:8301 -bootstrap-expect 3 -datacenter=datacenter1 -ui -enable-script-checks=true -config-dir=/usr/local/consul/config -server-port=8300 -serf-lan-port=8301 -serf-wan-port=8302 -http-port=8500 -dns-port=8600 > /usr/local/consul/consul.log 2>&1 &

172.16.11.221执行

修改data -node=server3、新增 -join=172.16.11.219:8301

nohup ./consul agent -server -data-dir=/usr/local/consul/data -node=server3 -bind=172.16.11.221 -client=172.16.11.221 -advertise=172.16.11.221 -join=172.16.11.219:8301 -bootstrap-expect 3 -datacenter=datacenter1 -ui -enable-script-checks=true -config-dir=/usr/local/consul/config -server-port=8300 -serf-lan-port=8301 -serf-wan-port=8302 -http-port=8500 -dns-port=8600 > /usr/local/consul/consul.log 2>&1 &

可以在对应服务器/usr/local/consul 目录下  新增consul.sh 启动脚本        将以上命令写入     通过   ./consul.sh    启动consul

上面参数说明:
-server ： 定义agent运行在 server模式,表示以Server模式启动，没有设置-server表示Client方式启动
-bootstrap-expect ：在一个 datacenter(数据中心)中期望提供的server节点数目，当该值提供的时候， consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap,通俗来讲,就是 构成集群的最小数量共用（注意：bootstrap-expect值必须是server的数量）
-bind ：集群通信的ip,该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0 ,表示所有ip
-node ：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名
-ui ： 启动web界面 :8500,启动后台管理，默认 http://ip:8500访问
-rejoin ：使consul启动的时候加入集群中。
-config-dir ：配置文件目录，里面所有以.json结尾的文件都会被加载
-client ：consul服务侦听地址，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1所以不对外提供服务，如果要对外提供服务改成0.0.0.0, ,表示所有ip
data-dir ：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在,通俗来讲就是 数据存放目录

额外参数
enable-script-checks=true: 允许使用脚本进行监控检查
advertise=IP: 告诉集群其他节点你通过这个ip来和我通信，默认使用bind绑定的ip
datacenter=dataCenterName: 数据中心名称
server-port=8300:选取Leader节点（raft协议通信）和提供RPC调用的
serf-lan-port=8301: 集群通信端口，用在LAN网
serf-wan-port=8302: 数据中心通信端口，用在WAN网
http-port=8500: 提供Http服务的端口
dns-port=8600: 提供Dns服务的端口

启动客户端

172.16.11.214执行

nohup ./consul agent -data-dir=/usr/local/consul/data -node=client-01 -bind=172.16.11.214 -client 0.0.0.0 -join=172.16.11.219:8301 -datacenter=datacenter1 -ui -config-dir=/usr/local/consul/config > /usr/local/consul/consul.log 2>&1 &

172.16.11.215执行

nohup ./consul agent -data-dir=/usr/local/consul/data -node=client-02 -bind=172.16.11.215 -client 0.0.0.0 -join=172.16.11.219:8301 -datacenter=datacenter1 -ui -config-dir=/usr/local/consul/config > /usr/local/consul/consul.log 2>&1 &

219 server1挂掉 server2为 leader

访问请求可以正常轮询

将219 server1启动,server1不会恢复为leader

注意：应用下线后 应用并不会立刻从consul上删除 consul在轮询过程中还是会找到下线的服务，导致操作失败。接到服务下线报警后，应该将应用从服务上删除。在服务器上执行该脚本

curl -s -XPUT http://ip:port/v1/agent/service/deregister/“applicationName”

或者用postman 发put请求

http://ip:port/v1/agent/service/deregister/“applicationName”

 或者修改consul在应用上配置   如java的spring.cloud.consul     将critical-timeout   设置小一点   如30s

注意：client 端下线后 server端不会剔除client端

curl -X PUT http://127.0.0.1:8500/v1/agent/force-leave/client-02

或

http://127.0.0.1:8500/v1/agent/force-leave/client-02

总结

        这是我在项目中搭建consul集群遇到的问题。还有很多问题没有得到很好的解决，列如：consul的某一client端下线后。该client端上所有的应用就会报“all nodes checks failing”  的问题并且应用都不可用 。server端不会不会将有问题的client 剔除。   希望大神不吝赐教！

        这是我的发的第一篇文档 。遇到很多编写上的问题。还有很多不足的地方，希望自己能够坚持下去。加油！！！

感谢引用文档：[golang 微服务] 5. 微服务服务发现介绍,安装以及consul的使用,Consul集群_golang微服务-CSDN博客

大可乐儿
关注
用Docker-Compose搭建consul集群环境
yangzhou__的博客
12-06 412
目录1.Compose consul的概述1.1mpose是什么？2.2Docker Compose容器编排3.3Docker Compose配置常用字段3.4Docker Compose常用命令2.Consul的概述2.1consul是什么2.2Consul容器服务更新与发现43.部署Compose3.1、2个节点安装docker、设置镜像加速3.2、compose部署4.Consul部署4.1consul服务器4.2通过httpd api 获取集群信息4.3容器服务自动加入consul集群4.3.1 安
关于consul的单机部署与集群
11-01
第一次接触consul的一些微薄见解，文档内有本人的联系方式，欢迎有兴趣的朋友将自己的研究成果共享。
consul集群配置
最新发布
阿泽St
07-23 478
consul client - server 集群模式，非server - server模式
树莓派K8s集群的consul部署和简单使用
weixin_52823539的博客
07-20 1213
2024.5.29日更新本文对K8s部署consul进行简单介绍，并设置pv静态存储和nfs-nas动态存储配置。实现了k8s-consul与k8s自有注册数据库(etcd)同步。k8s问题请查看日志和其他文档。
Consul 集群部署
IT
07-19 4179
Consul是HashiCorp公司推出的开源软件，通过GO语言编写，提供服务注册和发现、配置、多数据中心的高可用方案等能力，分布式一致方面采用raft算法实现，并且很容易和SpringCloud等微服务框架集成，使用起来非常简单，具有简单、易用、可插排等特点。简而言之，Consul是服务网格的控制平面，Consul提供了一种完整的服务网格解决方案。Consul运行的节点集连接在一起，称为数据中心。一个数据中心将有3到5台服务器和许多客户端。..................
【运维】consul集群搭建
不纯正的逼格的专栏
01-22 1229
client 0.0.0.0：consul绑定在哪个client地址上，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1，可指定允许业务服务客户端，使用什么IP去访问。注意：以下所有操作请在ROOT账号下完成，演示在操作系统版本为cenots7下完成，其他原理大同小异，自行研究。-bootstrap-expect 2：表示等待多少个节点连通后再选举领导者，如果此处填1，则默认自己为领导者。解决方案：这个其实是1节点的8301端口没有开放导致，用root用户开放下端口即可。
Consul集群搭建看这篇就够了（consul cluster configuration ）
别忘了微笑
03-26 2536
Consul 是一种用于服务发现、配置和分布式一致性的开源工具和平台。它由 HashiCorp 公司开发和维护，旨在简化构建和维护分布式系统的任务。：Consul允许服务注册和发现。当服务启动时，它可以向Consul注册自己的位置和元数据。其他服务可以通过Consul查询来发现特定服务的位置，从而轻松实现服务之间的通信。：Consul可以周期性地对服务进行健康检查，以确保它们正常工作。如果服务不再健康，则Consul可以自动将其标记为不可用，并将流量路由到其他健康的实例。
k8s搭建consul集群
skh2015java的博客
09-28 4471
本文主要通过k8s集群搭建Consul集群 满足条件： 1. 有一个部署好的k8s集群 2. 集群内部支持DNS服务 3.最好对consul及配置有相应的了解 consul学习参考文章：https://blog.csdn.net/skh2015java/article/details/108853881 部署 1. 部署一个Service # consul-server-service.yaml apiVersion: v1 kind: Service metadata: ...
linux下的Consul集群搭建
江湖萧萧声的博客
04-29 435
最近在学习Consul相关的东西，需要做集群搭建，供大家参考。以linux为例： 集群安装 环境： 三台机器 192.168.33.101、192.168.33.102、192.168.33.103 1 下载consul https://www.consul.io/downloads.html 2 安装consul 下载之后为zip格式，解压后将consul文件放到/usr/local/bin下即...
linux环境搭建consul集群
qq_40142345的博客
12-19 634
consul集群部署最少三台主机，主机的 leader是根据consul 1、下载consul安装包 以下是我的包，永久有效可直接提取 链接：https://pan.baidu.com/s/1pslMs8_cXrXHnJPTRgt7aQ 提取码：yl09 ...
Consul的集群部署
灵魂在求知中净化。。。
08-07 1296
Consul的集群部署一、Consul的认识1、服务注册与发现2、何为consul二、consul集群的部署流程 一、Consul的认识 1、服务注册与发现 服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。这里就会有几个问题: ●如果需要调用后端服务A-N，就需要配置N个服务的网络
Consul集群部署
weixin_34127717的博客
03-20 453
Consul consul是一种提供服务发现的工具,类似于zookeeper和etcd。但是它也有一些自己的一些特性： 1:service discovery：consul通过DNS或者HTTP接口使服务注册和服务发现变的很容易，一些外部服务，例如saas提供的也可以一样注册。 2:health checking：健康检测使consul可以快...
consul的集群部署
wyl9527的博客
03-14 525
consul的原理 Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性: 服务发现以及注册： 当服务Producer 启动时，会将自己的Ip/host等信息通过发送请求告知 Consul，Consul 接收到 Producer 的注册信息后，每隔一段时间会向 Producer 发送一个健康检查的请求，检验Producer是否健康。 服务调用： 当 Consumer 请求Product时，会先从 Consul 中拿到存储Product服务的
【Consul】consul注册中心的集群搭建
实施工程师从入门到放弃
11-05 510
背景环境 consul3台主机集群配置 192.168.0.101 192.168.0.102 192.168.0.103 consul集群最少需要3台， 集群配置 1.下载consul包，进入consul目录下 创建cs-data数据目录 2.配置启动文件run.sh 内容可参考 1节点配置文件： chmod 777 /home/soft/consul/consul nohup /home/soft/consul/consul agent -server -ui -bootstrap-expect=2
Consul集群及应用
ganmaotong的博客
01-19 1321
在Consul的部署及应用中，我们已经懂得了如果在linux服务器上部署单机版的Consul注册中心。今天我们将部署一个具有3个节点的Consul集群。 准备三台linux服务器，在/root目录下创建一个consul目录，把consul_1.8.6_linux_amd64.zip拷贝到该目录下，并且解压。 在Server1中执行以下命令: ./consul agent -server -bootstrap-expect 2 -data-dir=data -no...
centOS7 consul 集群
码农的专栏
03-03 238
https://releases.hashicorp.com/consul/1.9.3/consul_1.9.3_linux_amd64.zip cd /application/consul_1.9.3_linux_amd64 ################################################################# chmod 744 ./consul ./consul agent -server -bind=192.168.1.113 -client=0.0..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值