批量剔除consul无效服务

最新推荐文章于 2024-05-21 18:57:25 发布

桃橙柳

最新推荐文章于 2024-05-21 18:57:25 发布

阅读量2.2k

点赞数

分类专栏：技术学习文章标签： consul bash 脚本语言 java shell

本文链接：https://blog.csdn.net/tktttt/article/details/118108342

版权

技术学习专栏收录该内容

4 篇文章 1 订阅

订阅专栏

批量剔除consul无效服务

一、剔除consul无效服务

一、剔除consul无效服务

正常情况下,若是没有设置服务的健康检查剔除时间，则 consul不会主动的去清除掉失效的服务,所以就需要手动的来清理, 但是往往一个consul上又有多个失效的服务，一个一个剔除效率又太低，那么就需要通过脚本等形式进行批量剔除。

1.脚本

1.1单节点删除

参考删除consul的无效/失效服务

vi clean_consul.sh
加入以下内容：

#!/bin/bash
# tiki 2021-06-22

#consul的地址
CONSUL_ADDRESS="192.168.2.4:8500"

#判断是否存在logs目录，不存在则创建
test -d logs || mkdir logs

echo -e "\n---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------"
echo -e "\n---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------" >> logs/clean-consul-`date +%Y%m%d`.log
# 获取当前consul中状态为critical的serviceID
CONSUL_CRITICAL=`curl -s -XGET http://${CONSUL_ADDRESS}/v1/health/state/critical | python -m json.tool | grep ServiceID | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
for critical in ${CONSUL_CRITICAL}
do
  echo "${critical} 已删除"
  echo "${critical} 已删除" >> logs/clean-consul-`date +%Y%m%d`.log
  # 使用consul的API删除对应的serviceID
  curl -XPUT http://${CONSUL_ADDRESS}/v1/agent/service/deregister/${critical}
done
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n"
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n" >> logs/clean-consul-`date +%Y%m%d`.log

但上述脚本只能删除注册在该consul节点上的无效服务，就算该节点是consul集群中的一个有效节点，也无法删除其他节点上的无效服务，
所以consul如果是个集群的话，则应该用下方脚本

1.2集群删除

1.2.1集群删除脚本1

将所有consul节点的地址都编入：

#!/bin/bash
# tiki 2021-06-22

#consul的地址
CONSUL_ADDRESS="192.168.2.4:8500 192.168.3.3:8500 192.168.3.2:8500 192.168.3.1:8500 192.168.3.6:8500"

#判断是否存在logs目录，不存在则创建
test -d logs || mkdir logs

echo -e "\n---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------"
echo -e "\n---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------" >> logs/clean-consul-`date +%Y%m%d`.log
for ADDRESS in ${CONSUL_ADDRESS}
do
  echo "开始删除 ${ADDRESS} 上无效服务"
  echo "开始删除 ${ADDRESS} 上无效服务" >> logs/clean-consul-`date +%Y%m%d`.log
  # 获取当前consul中状态为critical的serviceID
  CONSUL_CRITICAL=`curl -s -XGET http://${ADDRESS}/v1/health/state/critical | python -m json.tool | grep ServiceID | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
  for critical in ${CONSUL_CRITICAL}
  do
    echo "${critical} 已删除"
    echo "${critical} 已删除" >> logs/clean-consul-`date +%Y%m%d`.log
    # 使用consul的API删除对应的serviceID
    curl -XPUT http://${ADDRESS}/v1/agent/service/deregister/${critical}
  done
  echo -e "${ADDRESS} 删除无效服务结束\n"
  echo -e "${ADDRESS} 删除无效服务结束\n" >> logs/clean-consul-`date +%Y%m%d`.log
done
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n"
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n" >> logs/clean-consul-`date +%Y%m%d`.log

1.2.2集群删除优化脚本2

优化了输出日志到控制台与文件后的脚本如下，但好像性能有下降，有待验证：
（若是有多个consul的单节点，又不属于同一个集群，则推荐用该脚本，相较于脚本1，脚本2只是优化了日志输出语句）

#!/bin/bash
# tiki 2021-06-22

#consul的地址
CONSUL_ADDRESS="192.168.2.4:8500 192.168.3.3:8500 192.168.3.2:8500 192.168.3.1:8500 192.168.3.6:8500"
#日志文件名称
LOG_FILE="clean-consul.log"

#判断是否存在logs目录，不存在则创建
test -d logs || mkdir logs

echo "---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------" | tee -a logs/${LOG_FILE}
for ADDRESS in ${CONSUL_ADDRESS}
do
  echo "开始删除 ${ADDRESS} 上无效服务" | tee -a logs/${LOG_FILE}
  # 获取当前consul中状态为critical的serviceID
  CONSUL_CRITICAL=`curl -s -XGET http://${ADDRESS}/v1/health/state/critical | python -m json.tool | grep ServiceID | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
  for critical in ${CONSUL_CRITICAL}
  do
    echo "${critical} 已删除" | tee -a logs/${LOG_FILE}
    # 使用consul的API删除对应的serviceID
    curl -XPUT http://${ADDRESS}/v1/agent/service/deregister/${critical}
  done
  echo -e "${ADDRESS} 删除无效服务结束\n" | tee -a logs/${LOG_FILE}
done
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n" | tee -a logs/${LOG_FILE}

参考将终端内容输出到文件中，又显示在终端

1.2.3集群删除优化脚本3

继上述输出优化后，优化consul集群节点查询，不用再手动输入所有consul集群节点，下方脚本可以通过一个节点查询出集群中的所有节点（要求是一个集群内的）：

#!/bin/bash
# tiki 2021-06-23

#consul的地址，集群中一个节点即可
CONSUL_ADDRESS="192.168.2.4:8500"
#日志文件名称
LOG_FILE="clean-consul.log"

#判断是否存在logs目录，不存在则创建
test -d logs || mkdir logs

echo "---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------" | tee -a logs/${LOG_FILE}
# 获取当前consul中所有节点的Node
CONSUL_NODE=`curl -s -XGET http://${CONSUL_ADDRESS}/v1/catalog/nodes | python -m json.tool | grep Node | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
echo -e "consul集群所有节点如下:\n${CONSUL_NODE}\n" | tee -a logs/${LOG_FILE}
for NODE in ${CONSUL_NODE}
do
  #从node的第8个字符开始截取
  ADDRESS=${NODE:7}
  echo "当前节点为:${ADDRESS}" | tee -a logs/${LOG_FILE}
  echo "开始删除 ${ADDRESS} 上无效服务" | tee -a logs/${LOG_FILE}
  # 获取当前consul中状态为critical的serviceID
  CONSUL_CRITICAL=`curl -s -XGET http://${ADDRESS}/v1/health/state/critical | python -m json.tool | grep ServiceID | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
  for critical in ${CONSUL_CRITICAL}
  do
    echo "${critical} 已删除" | tee -a logs/${LOG_FILE}
    # 使用consul的API删除对应的serviceID
    curl -XPUT http://${ADDRESS}/v1/agent/service/deregister/${critical}
  done
  echo -e "${ADDRESS} 节点删除无效服务结束\n" | tee -a logs/${LOG_FILE}
done
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n" | tee -a logs/${LOG_FILE}

其运行如下：

---------start  2021-06-23 11:30:42----------
consul集群所有节点如下:
client-192.168.3.2:8500
client:192.168.2.4:8500
server-192.168.3.3:8500
server-192.168.3.1:8500
server-192.168.3.6:8500

当前节点为:192.168.3.2:8500
开始删除 192.168.3.2:8500 上无效服务
smarthome-telecomsync-srv-192-168-71-1 已删除
192.168.3.2:8500 节点删除无效服务结束

当前节点为:192.168.2.4:8500
开始删除 192.168.2.4:8500 上无效服务
192.168.2.4:8500 节点删除无效服务结束

当前节点为:192.168.3.3:8500
开始删除 192.168.3.3:8500 上无效服务
192.168.3.3:8500 节点删除无效服务结束

当前节点为:192.168.3.1:8500
开始删除 192.168.3.1:8500 上无效服务
192.168.3.1:8500 节点删除无效服务结束

当前节点为:192.168.3.6:8500
开始删除 192.168.3.6:8500 上无效服务
192.168.3.6:8500 节点删除无效服务结束

---------finish  2021-06-23 11:30:43----------

减少循环次数，优化如下（若是一个consul集群内的，则推荐用该脚本）：

#!/bin/bash
# tiki 2021-06-23

#consul的地址，集群中一个节点即可
CONSUL_ADDRESS="192.168.2.4:8500"
#日志文件名称
LOG_FILE="clean-consul.log"

#判断是否存在logs目录，不存在则创建
test -d logs || mkdir logs

echo "---------start  "$(date "+%Y-%m-%d %H:%M:%S")"----------" | tee -a logs/${LOG_FILE}
# 获取当前consul中所有节点的Node
CONSUL_NODE=`curl -s -XGET http://${CONSUL_ADDRESS}/v1/catalog/nodes | python -m json.tool | grep Node | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
echo -e "consul集群所有节点如下:\n${CONSUL_NODE}\n" | tee -a logs/${LOG_FILE}
for NODE in ${CONSUL_NODE}
do
  #从node的第8个字符开始截取
  ADDRESS=${NODE:7}
  echo "当前节点为:${ADDRESS}" | tee -a logs/${LOG_FILE}
  echo "开始删除 ${ADDRESS} 上无效服务" | tee -a logs/${LOG_FILE}
  # 获取当前consul中状态为critical的serviceID
  CONSUL_CRITICAL=`curl -s -XGET http://${ADDRESS}/v1/health/state/critical | python -m json.tool | grep ServiceID | awk '{print $2}' |sed 's/"//g' | sed 's/,//g'`
  for critical in ${CONSUL_CRITICAL}
  do
    echo "${critical} 已删除" | tee -a logs/${LOG_FILE}
    # 使用consul的API删除对应的serviceID
    curl -XPUT http://${ADDRESS}/v1/agent/service/deregister/${critical}
  done
  echo -e "${ADDRESS} 节点删除无效服务结束\n" | tee -a logs/${LOG_FILE}
  #判断无效的服务列表是否为空，为空则结束循环
  if [ -z "${CONSUL_CRITICAL}" ]
  then
     echo -e "所有无效服务都已删除\n" | tee -a logs/${LOG_FILE}
     break
  fi
done
echo -e "---------finish  "$(date "+%Y-%m-%d %H:%M:%S")"----------\n" | tee -a logs/${LOG_FILE}

执行后如下：

---------start  2021-06-23 11:49:45----------
consul集群所有节点如下:
client-192.168.3.2:8500
client:192.168.2.4:8500
server-192.168.3.3:8500
server-192.168.3.1:8500
server-192.168.3.6:8500

当前节点为:192.168.3.2:8500
开始删除 192.168.3.2:8500 上无效服务
192.168.3.2:8500 节点删除无效服务结束

所有无效服务都已删除

---------finish  2021-06-23 11:49:45----------

若是有多个consul集群，则稍微改造上面脚本即可

2.java服务

参考consul剔除无效服务

桃橙柳

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
批量剔除consul无效服务

批量剔除consul无效服务一、剔除consul无效服务1.脚本2.java服务一、剔除consul无效服务正常情况下,若是没有设置服务的健康检查剔除时间，则 consul不会主动的去清除掉失效的服务,所以就需要手动的来清理, 但是往往一个consul上又有多个失效的服务，一个一个剔除效率又太低，那么就需要通过脚本等形式进行批量剔除。1.脚本vi clean_consul.sh加入以下内容：#!/bin/bash# tiki 2021-06-22#consul的地址CONSUL_ADDR
复制链接

扫一扫