微服务-服务注册与发现-consul入门和集群搭建

已于 2022-04-11 09:25:36 修改
阅读量1.7k 收藏 4
点赞数
分类专栏： Microservice 文章标签： consul
于 2022-04-10 09:28:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39530821/article/details/124070588
版权

文章目录

1. 概述

1.1 什么是consul

Consul 是 HashiCorp 公司推出的开源工具，使用go语言开发，可用于实现分布式系统的服务发现与配置。 Consul内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。Consul 是分布式的、高可用的、 可横向扩展的。

  • 服务发现: Consul 提供了通过 DNS 或者 HTTP 接口的方式来注册服务和发现服务。一些外部的服务通过 Consul 很容易的找到它所依赖的服务。
  • 健康检查: Consul的客户端可以通过多种方式来检查某个服务或当前节点是否处于健康状态，比如查看一个服务是否可以返回200 OK，或者是查看client当前部署的机器的内存使用是否在80%以下。利用健康检查可用来避免流量被转发到有故障的服务上。
  • Key/Value存储: 应用程序可以根据自己的需要使用 Consul 提供的 Key/Value 存储。 Consul 提供了简单易用的 HTTP 接口，结合其他工具可以实现动态配置、功能标记、领袖选举等等功能。
  • 多数据中心: Consul 支持开箱即用的多数据中心. 这意味着用户不需要担心需要建立额外的抽象层让业务扩展到多个区域。

1.2 与其他框架对比

FeatureConsulzookeeperetcdeuerka
服务健康检查服务状态，内存，硬盘等(弱)长连接，keepalive连接心跳可配支持
多数据中心支持———
kv存储服务支持支持支持—
一致性raftpaxosraft—
capcpcpcpap
使用接口支持http和dns客户端http/grpchttp（sidecar）
watch支持全量/支持long polling支持支持 long polling支持 long polling
自身监控metrics—metricsmetrics
安全acl/httpsaclhttps支持（弱）-
spring cloud集成已支持已支持已支持已支持

注：

  1. 轻松理解CAP理论

1.3 术语

词汇说明
Agentagent是一直运行在Consul集群中每个成员上的守护进程。通过运行 consul agent 来启动。agent可以运行在client或者server模式。指定节点作为client或者server是 非常简单的，除非有其他agent实例。所有的agent都能运行DNS或者HTTP接口，并负责运行时检查和保持服务同步。
Client一个Client是一个转发所有RPC到server的代理。这个client是相对无状态的。client唯一执行的后台活动是加入LAN gossip池。这有一个最低的资源开销并且仅消耗少量的网络带宽。
Server一个server是一个有一组扩展功能的代理，这些功能包括参与Raft选举，维护集群状态，响应RPC查询，与其他数据中心交互WAN gossip和转发查询给leader或者远程数据中心。
DataCenter虽然数据中心的定义是显而易见的，但是有一些细微的细节必须考虑。例如，在EC2中，多个可用区域被认为组成一个数据中心？我们定义数据中心为一个私有的，低延迟和 高带宽的一个网络环境。这不包括访问公共网络，但是对于我们而言，同一个EC2中的多个可用区域可以被认为是一个数据中心的一部分。
Consensus在我们的文档中，我们使用Consensus来表明就leader选举和事务的顺序达成一致。由于这些事务都被应用到有限状态机上，Consensus暗示复制状态机的一致性。
GossipConsul建立在Serf的基础之上，它提供了一个用于多播目的的完整的gossip协议。Serf提供成员关系，故障检测和事件广播。更多的信息在gossip文档中描述。这足以知道g ossip使用基于UDP的随机的点到点通信。
LAN Gossip它包含所有位于同一个局域网或者数据中心的所有节点。
WAN Gossip它只包含Server。这些server主要分布在不同的数据中心并且通常通过因特网或者广域网通信。
RPC远程过程调用。这是一个允许client请求server的请求/响应机制。

1.4 consul默认端口

Consul最多需要6个不同的端口才能正常工作，有些使用TCP，UDP或两种协议。 主要端口说明如下：

角色端口号协议功能
server8300TCPagent server 使用的，用于处理其他agent发来的请求
serf_lan8301TCP 、UDPagent使用此端口处理LAN中的gossip（用于单个数据中心）
serf_wan8302TCP 、UDPagent server使用此端口处理WAN中的与其他server的gossip（用于多个数据中心）
grpc8400TCPagent用于处理从CLI来的RPC请求
http8500TCPagent用于处理HTTP API
dns8600TCP 、UDPagent用于处理 DNS 查询

2. consul的架构

2.1 Consul节点模式

Consul分为Client和Server两种节点（所有的节点也被称为Agent）。

Consul节点模式:

  • CLIENT : CLIENT表示consul的client模式，就是客户端模式。是consul节点的一种模式，这种模式下，所有注册到当前节点的服务会被转发到SERVER，本身是不持久化这些信息。
  • SERVER: SERVER表示consul的server模式，表明这个consul是个server，这种模式下，功能和CLIENT都一样，唯一不同的是，它会把所有的信息持久化的本地，这样遇到故障，信息是可以被保留的。
  • SERVER-LEADER: 表明这个SERVER是它们的老大，它和其它SERVER不一样的一点是，它需要负责同步注册的信息给其它的SERVER，同时也要负责各个节点的健康监测。

2.2 架构

在这里插入图片描述

  • 首先Consul支持多数据中心，在上图中有两个DataCenter，他们通过Internet互联，同时请注意为了提高通信效率，只有Server节点才加入跨数据中心的通信。
  • 在单个数据中心中，Consul分为Client和Server两种节点（所有的节点也被称为Agent），Server节点保存数据，Client负责健康检查及转发数据请求到Server；Server节点有一个Leader和多个Follower，Leader节点会将数据同步到Follower。虽然Consul可以运行在一台server , 但是建议使用3到5台来避免失败情况下数据的丢失.每个数据中心建议配置一个server集群。
  • 集群内的Consul节点通过gossip协议（流言协议）维护成员关系，也就是说某个节点了解集群内现在还有哪些节点，这些节点是Client还是Server。单个数据中心的流言协议同时使用TCP和UDP通信，并且都使用8301端口。跨数据中心的流言协议也同时使用TCP和UDP通信，端口使用8302。
  • 集群内数据的读写请求既可以直接发到Server，也可以通过Client使用RPC转发到Server，请求最终会到达Leader节点，在允许数据轻微陈旧的情况下，读请求也可以在普通的Server节点完成，集群内数据的读写和复制都是通过TCP的8300端口完成。

3. 集群搭建

准备三台虚拟机，每台虚拟机搭建一个server和一个client，共计三个server和三个client。

3.1 环境准备

节点IP操作系统角色
consul-1192.168.66.131centos7consul-server, consul-client
consul-2192.168.66.132centos7consul-server, consul-client
consul-3192.168.66.133centos7consul-server, consul-client

3.2 软件准备

  • linux - centos7系统
  • Xshell
  • Xftp
  • consul_1.11.4_linux_amd64.zip

3.3 搭建过程

3.3.1 关闭防火墙

关闭： systemctl stop firewalld
开机禁用 ： systemctl disable firewalld

3.3.2 下载软件

cd /soft

wget https://releases.hashicorp.com/consul/1.11.4/consul_1.11.4_linux_amd64.zip

mkdir -p  /usr/local/consul/bin

unzip consul_1.11.4_linux_amd64.zip -d /usr/local/consul/bin

配置环境变量：
vi /etc/profile, PATH=$PATH:/usr/local/consul/bin

source /etc/profile

在这里插入图片描述

consul --version

在这里插入图片描述
注意：也可以自行到官网下载软件，然后上传到linux。

3.3.3 配置client端口

由于server和client同时部署在一台虚拟机，为避免端口冲突，这里需改client的接口（修改server端口也可以）。

mkdir -p /usr/local/consul/config

cd /usr/local/consul/config

touch ports.json

vi ports.json

添加如下配置：

{
    "ports":{
        "http":8501,
        "dns":8601,
        "serf_lan":8311,
        "serf_wan":8312,
        "server":8310
    }
}

在这里插入图片描述

3.3.4 编写shell脚本

  • 启动client脚本-client.sh
#!/bin/sh


leader="192.168.66.131"
ip_addr=`ifconfig | grep -A 1 ens33 | grep "inet" | awk '{print $2}'`
client_out_file=client_consul_`date +"%Y%m%d%H%M%S"`.log

data_dir=/usr/local/consul/data
logs_dir=/usr/local/consul/logs
config_dir=/usr/local/consul/config

if [ ! -d $data_dir ]; then
	mkdir $data_dir
fi
if [ ! -d $logs_dir ]; then
	mkdir $logs_dir
fi

nohup /usr/local/consul/bin/consul agent -datacenter=DC01 -bind=$ip_addr -client=$ip_addr -data-dir=$data_dir -ui -node=$ip_addr:client -config-dir=$config_dir -retry-join $leader -node-id=$(uuidgen | awk '{print tolower($0)}') > $logs_dir/$client_out_file 2>&1 &

注意：-node-id=$(uuidgen | awk ‘{print tolower($0)}’)， 加这个是因为server和client同时部署在一台虚拟机，id重复，报错。

  • 启动server脚本-server.sh
#!/bin/sh

leader="192.168.66.131"
ip_addr=`ifconfig | grep -A 1 ens33 | grep "inet" | awk '{print $2}'`
server_out_file=server_consul_`date +"%Y%m%d%H%M%S"`.log

data_dir=/usr/local/consul/data
logs_dir=/usr/local/consul/logs

if [ ! -d $data_dir ]; then
	mkdir $data_dir
fi
if [ ! -d $logs_dir ]; then
	mkdir $logs_dir
fi



if [ $leader = $ip_addr ]; then
   nohup /usr/local/consul/bin/consul agent -datacenter=DC01 -server -bootstrap-expect=2 -bind=$ip_addr -client=$ip_addr -data-dir=$data_dir -ui -node=$ip_addr:server > $logs_dir/$server_out_file 2>&1 &
else
   nohup /usr/local/consul/bin/consul agent -datacenter=DC01 -server -bootstrap-expect=2 -bind=$ip_addr -client=$ip_addr -data-dir=$data_dir -ui -node=$ip_addr:server -retry-join $leader > $logs_dir/$server_out_file 2>&1 &
fi
  • 启动client和server脚本-startUp.sh
#!/bin/sh

sh /usr/local/consul/server.sh
sh /usr/local/consul/client.sh

在这里插入图片描述

  • 配置解释
#配置说明:
-advertise：通知展现地址用来改变我们给集群中的其他节点展现的地址，一般情况下-bind地址就是展现地址。
-bootstrap：用来控制一个server是否在bootstrap模式，在一个datacenter中只能有一个server处于bootstrap模式，当一个server处于bootstrap模式时，可以自己选举为raft leader。
-bootstrap-expect：在一个datacenter中期望提供的server节点数目，当该值提供的时候，consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap公用
-bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0
-client：consul绑定在哪个client地址上，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1
-config-file：明确的指定要加载哪个配置文件
-config-dir：配置文件目录，里面所有以.json结尾的文件都会被加载
-data-dir：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在
-dc：该标记控制agent允许的datacenter的名称，默认是dc1
-encrypt：指定secret key，使consul在通讯时进行加密，key可以通过consul keygen生成，同一个集群中的节点必须使用相同的key
-join：加入一个已经启动的agent的ip地址，可以多次指定多个agent的地址。如果consul不能加入任何指定的地址中，则agent会启动失败，默认agent启动时不会加入任何节点。
-retry-join：和join类似，但是允许你在第一次失败后进行尝试。
-retry-interval：两次join之间的时间间隔，默认是30s
-retry-max：尝试重复join的次数，默认是0，也就是无限次尝试
-log-level：consul agent启动后显示的日志信息级别。默认是info，可选：trace、debug、info、warn、err。
-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名
-protocol：consul使用的协议版本
-rejoin：使consul忽略先前的离开，在再次启动后仍旧尝试加入集群中。
-server：定义agent运行在server模式，每个集群至少有一个server，建议每个集群的server不要超过5个
-syslog：开启系统日志功能，只在linux/osx上生效
-pid-file:提供一个路径来存放pid文件，可以使用该文件进行SIGINT/SIGHUP(关闭/更新)agent

更详细配置看官方：Agent/Configuration

3.4 访问

启动脚本：

./startup.sh

http://192.168.66.131:8501/ui/dc01/nodes
在这里插入图片描述

参考资料

  1. https://juejin.cn/post/6844904132214538248
  2. https://blog.csdn.net/qq_38659629/article/details/82804449
  3. https://www.imooc.com/article/284070
tobebetter9527
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spring Cloud微服务：浅析注册中心Consul（上）
2301_76607156的博客
04-25 330
Consul是Go语言编写的一个分布式高可用的服务网格解决方案，提供包括服务发现、配置和分段功能在内的全功能控制平面。它的每个功能都可以单独使用，也可以用它来构建完整的服务网格。为什么要用它呢？因为Eureka很早之前已经宣布不再维护了，但是还有很多替代Eureka的注册中心，例如Nacos、Zookeeper以及接下来要介绍的Consul。Consul使用Go语言编写，通过HTTP的方式向外提供服务；支持多数据中心；一致性协议使用的是Raft。这些年来Consul一直在活跃更新中，社区活跃度上很可靠。
springCloud-17 将微服务注册到consul
阿涩的博客
01-08 598
下面是将consul 作为注册中心，而非 eureka ，我将eureka 做注册中心的代码放到了码云上： springCloud01: springCloud01-20211225 练习springCloudhttps://gitee.com/vegetarian/spring-cloud01.git 一，案例准备 将一个基本的微服务案例创建出来，不使用任何注册中心，我们一步步搭建。 springCloud_consul: springCloud_consulhttps://git...
C#使用Consul集群进行服务注册与发现
cnmeimei的博客
05-02 917
前言 我个人觉得，中间件的部署与使用是非常难记忆的；也就是说，如果两次使用中间件的时间间隔比较长，那基本上等于要重新学习使用。 所以，我觉得学习中间件的文章，越详细越好；因为，这对作者而言也是一份珍贵的备忘资料。 Consul简介 Consul一个什么，我想大家通过搜索引擎一定可以搜索到；所以，我就不在重复他的官方描述了。 这里，我为大家提供一个更加好理解的描述。 Consul是什么？ ...
go微服务系列(七)：consul给微服务添加服务注册与发现
阿白，
06-19 1874
微服务架构按业务划分微服务的特点，使得原本聚合了大量业务模块的单体应用被划分为众多的微服务。而大量微服务的出现，势必会带来运维管理上的巨大挑战，于是服务注册与发现这类自动化策略应运而生。但是引入服务注册与发现就可能引入额外技术栈，增加系统总体的复杂性，比如会引入中心化的服务注册与发现中心这类基础组件。在本课时，我们将基于 Consul 给微服务添加服务注册与发现的能力。首先，我们会基于 Kubernetes 搭建一个接近生产环境的 Consul 集群；接着再基于搭建好的 Consul 集群，为我们的微服务添
SpringCloud微服务（一）——Consul服务注册中心
qq_43409401的博客
11-20 945
Consul服务注册中心
SpringCloud搭建微服务之Consul服务注册与发现
liu320yj的博客
02-29 1812
Consul是由HashiCorp公司使用Go语言开发的一款开源工具，主要用于实现分布式系统的服务发现和服务配置，其内置了服务注册与发现框架、分布式一致性协议实现、健康检查、Key-Value存储、多数据中心方案。Consul具有高可移植性，支持Linux、Windows和Max OS X等多个操作系统，其安装包只是一个可执行文件，方便部署，也可与Docker等轻量级容器无缝配合。Consul使用Raft算法来保证一致性，相比使用Paxos算法更简单。
微服务 - Consul集群化 · 服务注册 · 健康检测 · 服务发现 · 负载均衡
2301_76725413的博客
07-30 789
Consul向各应用服务发起的连接过程，为了提供所有健康可用的应用服务，按提供的检测方式、检测地址、检测频率等，发起通信检测，识别服务状态，踢除异常及不可用的实例，保留健康可用的实例，并把结果上报给 Consul-Server/Leader。在集群中，每种应用服务都可能不止一个运行实例，订单服务A调用产品服务B，通过ConsulAPI给出的产品服务B可用地址会是多个，同样都是产品服务，有的资源已用90%，有的资源才用10%，为了避免这种资源利用不均匀，如何做到负载均衡呢？以下先阐述节点的维护。
微服务之Consul 注册中心介绍以及搭建
最新发布
qq_62377885的博客
04-13 2507
单体架构（monolithic structure）：顾名思义，整个项目中所有功能模块都在一个工程中开发；项目部署时需要对所有模块一起编译、打包；项目的架构设计、开发模式都非常简单。当项目规模较小时，这种模式上手快，部署、运维也都很方便，因此早期很多小型项目都采用这种模式。团队协作成本高：试想一下，你们团队数十个人同时协作开发同一个项目，由于所有模块都在一个项目中，不同模块的代码之间物理边界越来越模糊。最终要把功能合并到一个分支，你绝对会陷入到解决冲突的泥潭之中。系统发布效率低。
SpringBoot（微服务）注册分布式Consul
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
03-15 2510
Spring Boot应用可以通过向Consul注册自身来实现服务发现和治理，使得其他服务可以在Consul中发现并调用它。一篇文章了解Consul服务发现实现原理
consul集群解决单注册弊端
jinyuttt的专栏
02-04 543
如果向单独的方式向节点注册，有一点问题，向一个注册，那么一旦节点挂了，服务也需要再次注册时，就会有问题。除以上方案外，还有补偿方案，就是集群节点通过Nginx代理，搭建一个nginx一个服务代理consul集群节点，webapi服务注册时使用Nginx代理。网上很多是放在不同机器上，默认启动即可，但是我这里自己学习，只能一个机器，所以需要修改端口，启动多个实例即可。consul官网建议最好是3个节点，其实consul不存储数据，只是服务信息，所以不用过多。consul的集群是复制模式，每个节点的信息一致。
consul集群搭建作为注册中心与高可用
小JH的博客
06-12 1583
Consul是什么 Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的，高度可用的系统，而且开发使用都很简便。它提供了一个功能齐全的控制平面，主要特点是：服务发现、健康检查、键值存储、安全服务通信、多数据中心。 consul 节点模式划分 client: 客户端, 无状态, 将 HTTP 和 DNS 接口请求转发给局域网内的服务端集群 server: 服务端, 保存配置信息, 高可用集群, 在局域网内与本地客户端通讯, 通过广域网与
Spring cloud Consul 服务注册中心实战
Dily_Su的博客
12-09 523
Consul 用于实现分布式系统的服务注册与配置，与其它方案相比，Consul 更 “一站式”，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案，不需要依赖其他工具，使用起来也很方便。Consul 使用 Go 语言，具有天然可移植性，仅包含一个可执行文件，易于部署，可与 Docker 等轻量级容器无缝配合。
微服务 - 搭建Consul集群服务，Consul配置中心
stark张宇
04-22 789
配置中心如何解决的呢?配置中心的思路是把项目中的配置参数全部放在一个集中的地方来管理，并提供一套标准的接口，当各个服务需要获取配置的时候就来拉取信息，当配置中心有更新的时候，也能通知其他服务，实时同步最新消息。server1 basic.json详细参数,执行命令。server2 basic.json详细参数,执行命令。server3 basic.json详细参数,执行命令。补充一下单点服务器Consul集群的步骤，我的虚拟机。
SpringCloud微服务注册中心Consul
lh87270202的博客
03-01 566
前言 在SpringCoud核心组件中一文，首先提到了SringCoud注册中心Eureka，后台Eureka官方已不再维护，于是有了Eureka的替代方案Consul，下面具体说一下Consul注册中心。 一、Consul服务注册中心的整体架构 1、consul内部原理 首先Consul支持多数据中心，在上图中有两个DataCenter，他们通过Internet互联，同时请注意为了提高通信效率...
SpringCloud学习[10]-consul集群搭建与修改默认端口
春盏
02-23 3894
一、集群搭建 · 环境准备 ssh shell 工具：远程连接 三台centos7服务器：192.168.200.241、192.168.200.242、192.168.200.243 ·下载安装启动consul consul安装启动https://blog.csdn.net/qq_31832209/article/details/118092030 ·集群启动（这里与上文连接启动有点不同，集群用server） 192.168.200.241 启动consul consul agent -
Consul简介和kv功能
qq_55998987的博客
09-27 332
Consul 是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置。与其它分布式服务注册与发现的方案相比，Consul的方案更“一站式”，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其它工具(比如ZooKeeper等) ，使用起来也较为简单。Consul 使用Go语言编写，因此具有天然可移植性(支持Linux,Windows和Mac OS);安装包仅包含一个可执行文件,方便部署，与Docker等轻量级容器可无缝配合。
微服务之zookeeper/consul
qq_41597232的博客
04-21 2204
zookeeper/consul1、zookeeper常见命令2、zookeeper准备工作3、服务提供者3.1、新建Cloud-provider-payment80053.2、改pom.xml文件3.3、写application.yml文件3.4、主启动类3.5、编写Controller3.6、启动8005注册进zookeeper3.7、验证测试3.8、思考4、消费者调用支付微服务4.1、新建cloud-consumerzk-order4.2、改pom.xml4.3、写application.yml4.4
Consul修改端口，一台服务器启动多个Consul
钟耿龙Galen的博客
03-19 1万+
在使用consul的过程中，我们可能想要在一台服务器上分别启动一个server端一个client端，节约服务器等等原因，那么我们就需要修改consul的启动端口，consul不仅为我们提供了命令行配置，还给我们提供了强大的配置文件功能。 consul server端的启动命令： consul agent -server -bootstrap-expect 1 -client 0.0.0...
consul服务发现入门篇
daiyudong2020的博客
12-09 8608
前言：常用的服务发现有 zookeeper：https://zookeeper.apache.org/ etcd：https://coreos.com/etcd/ consul：https://www.consul.io/ consul： 集成了 服务发现、故障检测、多数据中心、K/V存储。 consul安装： 只需要下载对应的可执行文件 https://www
Consul 使用
热门推荐
scdxmoe的专栏
06-29 1万+
http://www.jianshu.com/p/b4aaf267f7ba 官网Document https://www.consul.io/docs/index.html 一、介绍 Consul有很多组件，但总的来说，它主要用来发现和配置服务。 （1）服务发现：Consul的客户端可以“provide”一个service，例如api或mysql，其他客户端可以使用Consul

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值