Golang实战之海量日志收集系统（六）监视etcd配置项的变更

最新推荐文章于 2024-05-16 06:28:49 发布
最新推荐文章于 2024-05-16 06:28:49 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： Golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43442524/article/details/105072952
版权

在这里插入图片描述

Hello，我是普通Gopher，00后男孩，极致的共享主义者，想要成为一个终身学习者。专注于做最通俗易懂的计算机基础知识类公众号。每天推送Golang技术干货，内容起于K8S而不止于K8S，涉及Docker、微服务、DevOps、数据库、虚拟化等云计算内容及SRE经验总结
=======================
初次见面，我为你准备了100G学习大礼包：
1、《百余本最新计算机电子图书》
2、《30G Golang学习视频》
3、《20G Java学习视频》
4、《90G Liunx高级学习视频》
5、《10G 算法（含蓝桥杯真题）学习视频》
6、《英语四级，周杰伦歌曲免费送！》
路过麻烦动动小手，点个关注，持续更新技术文章与资料！

目录:

GitHub项目地址：https://github.com/PlutoaCharon/Golang_logCollect⭐

Golang实战之海量日志收集系统（一）项目背景介绍

Golang实战之海量日志收集系统（二）收集应用程序日志到Kafka中

Golang实战之海量日志收集系统（三）简单版本logAgent的实现

Golang实战之海量日志收集系统（四）etcd介绍与使用etcd获取配置信息

Golang实战之海量日志收集系统（五）根据etcd配置项创建多个tailTask

Golang实战之海量日志收集系统（六）监视etcd配置项的变更

Golang实战之海量日志收集系统（七）logTransfer之从kafka中获取日志信息

Golang实战之海量日志收集系统（八）logTransfer之将日志入库到Elasticsearch并通过Kibana进行展示

在上一篇中我们已经实现了从etcd中获取配置信息并创建tailTask任务

现在我们来通过etcd的watch实现新配置的变更

监视etcd配置项的变更

实现watch各个不同ip

在真实生产环境中时会常常添加新的服务器, 这时我们需要借助之前的ip.go获取所有ip节点, 并且实时监控

修改EtcdClient结构体增加keys

type EtcdClient struct {
	client *clientv3.Client
	keys   []string
}

在main/etcd.go中添加initEtcdWatcher与watchKey函数并且在函数initEtcd中调用

// 初始化多个watch监控etcd中配置节点
func initEtcdWatcher(addr string) {
	for _, key := range etcdClient.keys {
		go watchKey(addr,key)
	}
}

func watchKey(addr string, key string) {

	// 初始化连接etcd
	cli, err := clientv3.New(clientv3.Config{
		//Endpoints:   []string{"localhost:2379", "localhost:22379", "localhost:32379"},
		Endpoints:   []string{addr},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		logs.Error("连接etcd失败:", err)
		return
	}

	logs.Debug("开始监控key:",key)

	// Watch操作
	wch := cli.Watch(context.Background(), key)
	for resp := range wch {
		for _, ev := range resp.Events {
			fmt.Printf("Type: %v, Key:%v, Value:%v\n", ev.Type, string(ev.Kv.Key), string(ev.Kv.Value))
		}
	}
}

2020/03/24 15:21:27.632 [D]  导入日志成功&{debug E:\\Go\\logagent\\logs\\my.log 100 0.0.0.0:9092 [{E:\\Go\\logagent\\logs\\my.log nginx_log}] 0.0.0.0:2379 /backend/logagent/config/}
2020/03/24 15:21:27.646 [D]  resp from etcd:[]
2020/03/24 15:21:27.646 [D]  resp from etcd:[]
2020/03/24 15:21:27.647 [D]  resp from etcd:[]
2020/03/24 15:21:27.647 [D]  resp from etcd:[]
2020/03/24 15:21:27.647 [D]  resp from etcd:[key:"/backend/logagent/config/192.168.0.11" create_revision:6 mod_revision:9 version:4 value:"[{\"logpath\":\"E:/nginx/logs/access.log\",\"topic\":\"nginx_log\"},{\"logpath\":\"E:/nginx/logs/error.log\",\"topic\":\"nginx_log_err\"}]" ]
2020/03/24 15:21:27.647 [D]  日志设置为[{E:/nginx/logs/access.log nginx_log} {E:/nginx/logs/error.log nginx_log_err}]
2020/03/24 15:21:27.648 [D]  resp from etcd:[]
2020/03/24 15:21:27.648 [D]  连接etcd成功
2020/03/24 15:21:27.648 [D]  初始化etcd成功!
2020/03/24 15:21:27.648 [D]  初始化tailf成功!
2020/03/24 15:21:27.648 [D]  开始监控key: /backend/logagent/config/169.254.109.181
2020/03/24 15:21:27.648 [D]  开始监控key: /backend/logagent/config/192.168.0.1
2020/03/24 15:21:27.648 [D]  开始监控key: /backend/logagent/config/192.168.106.1
2020/03/24 15:21:27.650 [D]  开始监控key: /backend/logagent/config/169.254.30.148
2020/03/24 15:21:27.650 [D]  开始监控key: /backend/logagent/config/192.168.0.11
2020/03/24 15:21:27.651 [D]  开始监控key: /backend/logagent/config/169.254.153.68
2020/03/24 15:21:27.653 [D]  初始化Kafka producer成功,地址为: 0.0.0.0:9092
2020/03/24 15:21:27.653 [D]  初始化Kafka成功!

实现watch新的配置

修改etcd/etcd.go

etcd/etcd.go新增initEtcdWatcher与watchKey函数，用于监视etcd的key的变化，当有变化时通知

其中通过ev.Type判断是delect还是put处理

当getConfSucc得到配置成功, 进行tailf中的UpdateConfig操作, 进行更新配置

// 初始化多个watch监控etcd中配置节点
func initEtcdWatcher(addr string) {
	for _, key := range etcdClient.keys {
		go watchKey(addr, key)
	}
}

func watchKey(addr string, key string) {

	// 初始化连接etcd
	cli, err := clientv3.New(clientv3.Config{
		//Endpoints:   []string{"localhost:2379", "localhost:22379", "localhost:32379"},
		Endpoints:   []string{addr},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		logs.Error("连接etcd失败:", err)
		return
	}

	logs.Debug("开始监控key:", key)

	// Watch操作
	for {
		var collectConf []tailf.CollectConf
		var getConfSucc = true
		wch := cli.Watch(context.Background(), key)
		for resp := range wch {
			for _, ev := range resp.Events {
				// DELETE处理
				if ev.Type == mvccpb.DELETE {
					logs.Warn("删除Key[%s]配置", key)
					continue
				}
				// PUT处理
				if ev.Type == mvccpb.PUT && string(ev.Kv.Key) == key {
					err = json.Unmarshal(ev.Kv.Value, &collectConf)
					if err != nil {
						logs.Error("反序列化key[%s]失败:", err)
						getConfSucc = false
						continue
					}
				}
				logs.Debug("get config from etcd ,Type: %v, Key:%v, Value:%v\n", ev.Type, string(ev.Kv.Key), string(ev.Kv.Value))
			}
			if getConfSucc {
				logs.Debug("get config from etcd success, %v", collectConf)
				_ = tailf.UpdateConfig(collectConf)
			}
		}
	}
}
修改tailf/tail.go

在TailObj结构体中添加status(当前配置状态)与exitChan(管道里有数值时即为退出)

type TailObj struct {
	tail     *tail.Tail
	conf     CollectConf
	status   int
	exitChan chan int
}

// 定义常量
const (
	StatusNormal = 1 // 正常状态
	StatusDelete = 2 // 删除状态
)

在UpdateConfig函数中遍历所有配置项

当isRuning为false时, 即可认为此项配置不存在, 需要新建任务, 调用createNewTask函数

重新遍历所有配置项, 如果obj.status == StatusDelete时, 将obj.exitChan <- 1传入数值

// 新增etcd配置项
func UpdateConfig(confs []CollectConf) (err error) {
	// 创建新的tailtask
	for _, oneConf := range confs {
		// 对于已经运行的所有实例, 路径是否一样
		var isRuning = false
		for _, obj := range tailObjMgr.tailsObjs {
			// 路径一样则证明是同一实例
			if oneConf.LogPath == obj.conf.LogPath {
				isRuning = true
				obj.status = StatusNormal
				break
			}
		}

		// 检查是否已经存在
		if isRuning {
			continue
		}

		// 如果不存在该配置项 新建一个tailtask任务
		createNewTask(oneConf)
	}

	// 遍历所有查看是否存在删除操作
	var tailObjs []*TailObj
	for _, obj := range tailObjMgr.tailsObjs {
		obj.status = StatusDelete
		for _, oneConf := range confs {
			if oneConf.LogPath == obj.conf.LogPath {
				obj.status = StatusNormal
				break
			}
		}
		// 如果status为删除, 则将exitChan置为1
		if obj.status == StatusDelete {
			obj.exitChan <- 1
		}
		// 将obj存入临时的数组中
		tailObjs = append(tailObjs, obj)
	}
	// 将临时数组传入tailsObjs中
	tailObjMgr.tailsObjs = tailObjs
	return
}

createNewTask函数为新建一个tailtask

func createNewTask(conf CollectConf) {
	// 初始化Tailf实例
	tails, errTail := tail.TailFile(conf.LogPath, tail.Config{
		ReOpen:    true,
		Follow:    true,
		Location:  &tail.SeekInfo{Offset: 0, Whence: 2},
		MustExist: false,
		Poll:      true,
	})

	if errTail != nil {
		logs.Error("收集文件[%s]错误: %v", conf.LogPath, errTail)
		return
	}
	// 导入配置项
	obj := &TailObj{
		conf:     conf,
		exitChan: make(chan int, 1),
	}

	obj.tail = tails
	tailObjMgr.tailsObjs = append(tailObjMgr.tailsObjs, obj)

	go readFromTail(obj)
}

修改readFromTail函数, 当向TextMsg即想Kafka传入数据时, 判断该tailObj.exitChan是否为退出

// 读入日志数据
func readFromTail(tailObj *TailObj) {
	for true {
		select {

		case msg, ok := <-tailObj.tail.Lines:
			if !ok {
				logs.Warn("Tail file close reopen, filename:%s\n", tailObj.tail.Filename)
				time.Sleep(100 * time.Millisecond)
				continue
			}
			textMsg := &TextMsg{
				Msg:   msg.Text,
				Topic: tailObj.conf.Topic,
			}
			// 放入chan里
			tailObjMgr.msgChan <- textMsg

		// 如果exitChan为1, 则删除对应配置项
		case <-tailObj.exitChan:
			logs.Warn("tail obj 退出, 配置项为conf:%v", tailObj.conf)
			return
		}
	}
}

最后修改InitTail函数

// 初始化tail
func InitTail(conf []CollectConf, chanSize int) (err error) {

	tailObjMgr = &TailObjMgr{
		msgChan: make(chan *TextMsg, chanSize), // 定义Chan管道
	}

	// 加载配置项
	if len(conf) == 0 {
		logs.Error("无效的日志collect配置: ", conf)
	}

	// 循环导入
	for _, v := range conf {
		createNewTask(v)
	}

	return
}

测试

go build
./logagent
[169.254.109.181 169.254.30.148 192.168.106.1 192.168.0.1 192.168.0.11 169.254.153.68]
开始
2020/03/25 11:32:57 Waiting for E:/nginx/logs/access.log to appear...
2020/03/25 11:32:57 Waiting for E:/nginx/logs/error.log to appear...

向etcd中进行PUT与DELECE

delece操作时

2020/03/25 11:44:09.733 [D]  导入日志成功&{debug E:\\Go\\logagent\\logs\\my.log 100 0.0.0.0:9092 [{E:\\Go\\logagent\\logs\\my.log nginx_log}] 0.0.0.0:2379 /backend/logagent/config/}
2020/03/25 11:44:09.738 [D]  resp from etcd:[]
2020/03/25 11:44:09.739 [D]  resp from etcd:[]
2020/03/25 11:44:09.739 [D]  resp from etcd:[]
2020/03/25 11:44:09.740 [D]  resp from etcd:[]
2020/03/25 11:44:09.741 [D]  resp from etcd:[key:"/backend/logagent/config/192.168.0.11" create_revision:6 mod_revision:10 version:5 value:"[{\"logpath\":\"E:/nginx/logs/access.log\",\"topic\":\"nginx_log\"},{\"logpath\":\"E:/nginx/logs/error.log\",\"topic\":\"nginx_log_err\"},{\"logpath\":\"E:/nginx/logs/error2.log\",\"topic\":\"nginx_log_err2\"}]" ]
2020/03/25 11:44:09.741 [D]  日志设置为[{E:/nginx/logs/access.log nginx_log} {E:/nginx/logs/error.log nginx_log_err} {E:/nginx/logs/error2.log nginx_log_err2}]
2020/03/25 11:44:09.741 [D]  resp from etcd:[]
2020/03/25 11:44:09.741 [D]  连接etcd成功
2020/03/25 11:44:09.741 [D]  初始化etcd成功!
2020/03/25 11:44:09.741 [D]  初始化tailf成功!
2020/03/25 11:44:09.741 [D]  开始监控key: /backend/logagent/config/169.254.109.181
2020/03/25 11:44:09.741 [D]  开始监控key: /backend/logagent/config/169.254.30.148
2020/03/25 11:44:09.741 [D]  开始监控key: /backend/logagent/config/192.168.0.1
2020/03/25 11:44:09.742 [D]  开始监控key: /backend/logagent/config/192.168.0.11
2020/03/25 11:44:09.742 [D]  开始监控key: /backend/logagent/config/192.168.106.1
2020/03/25 11:44:09.742 [D]  开始监控key: /backend/logagent/config/169.254.153.68
2020/03/25 11:44:09.745 [D]  初始化Kafka producer成功,地址为: 0.0.0.0:9092
2020/03/25 11:44:09.745 [D]  初始化Kafka成功!
2020/03/25 11:44:30.820 [D]  get config from etcd ,Type: PUT, Key:/backend/logagent/config/192.168.0.11, Value:[{"logpath":"E:/nginx/logs/access.log","topic":"nginx_log"},{"logpath":"E:/nginx/logs/error.log","topic":"nginx_log_err"}]

2020/03/25 11:44:30.820 [D]  get config from etcd success, [{E:/nginx/logs/access.log nginx_log} {E:/nginx/logs/error.log nginx_log_err}]
2020/03/25 11:44:30.820 [W]  tail obj 退出, 配置项为conf:{E:/nginx/logs/error2.log nginx_log_err2}

put操作

2020/03/25 11:46:18.082 [D]  get config from etcd ,Type: PUT, Key:/backend/logagent/config/192.168.0.11, Value:[{"logpath":"E:/nginx/logs/access.log","topic":"nginx_log"},{"logpath":"E:/nginx/logs/error.log","topic":"nginx_log_err"},{"logpath":"E:/nginx/logs/error2.log","topic":"nginx_log_err2"}]

2020/03/25 11:46:18.082 [D]  get config from etcd success, [{E:/nginx/logs/access.log nginx_log} {E:/nginx/logs/error.log nginx_log_err} {E:/nginx/logs/error2.log nginx_log_err2}]

Kafka消费成功
在这里插入图片描述
已经成功获取到日志,

至此logAgent 的部分就写完了, 后续开发logTransfer将从Kafka里面获取日志信息入库。可以存Elasticsearch，供Kibana进行可视化查询, 最后通过beego开发web界面管理etcd

普通Gopher
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
etcd revision 测试
I have a adream
03-16 1438
docker-compose 启动 etcd 集群 docker-compose -f etcd-only.yml up -d etcd-only.yml,设置 snapshot 为100，即每 100 个修改，产生一次 snapshot，清除 WAL version: '3.5' services: machine-1: image: quay.io/coreos/etcd:v3.4.9 hostname: machine-1 container_
go-etcd实战
qzcsu的博客
01-16 2415
etcd is a strongly consistent, distributed key-value store that provides a reliable way to store data that needs to be accessed by a distributed system or cluster of machines. It gracefully handles leader elections during network partitions and ca
变更日志查看配置
weixin_64702125的博客
09-05 255
igix日志变更配置
Go最全Etcd教程 — 第一章 Etcd简介、Etcd单机安装_etcd 安装，我的Golang春季历程
最新发布
2401_84904355的博客
05-16 316
加完后按esc键退出编辑模式，输入：wq保存退出。：需要将etcd加入到环境变量中，否则会在。将etcd环境变量添加到文件末尾。Q1： 提示仓库里没有。
Golang 连接ETCD 监控数据变化
yinjl123456的博客
01-27 674
Golang代码连接etcd, 并监听指定key的动态变化。
Go语言etcd实现服务注册发现
m0_62729235的博客
01-30 1418
Go语言实现服务注册发现
golang实战之truncate日志文件详解
09-20
主要给大家介绍了关于golang实战之truncate日志文件的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Golang日志收集项目（采用taillog收集+etcd注册集群+kafka作为开源流处理平台+ES）
03-24
在构建一个基于Golang的日志收集系统时，我们通常会关注如何高效地处理大量日志数据，实现集群的动态扩展，并提供实时分析能力。在这个项目中，采用了多种技术组件来实现这一目标。以下是对这些技术及其应用的详细...
golang日志框架之logrus的使用
09-18
`logrus`之所以受欢迎，是因为它提供了丰富的功能，包括不同的日志级别、自定义日志格式、Hook机制以及结构化的日志记录。与Go标准库中的`log`包相比，`logrus`提供了更高级别的控制和定制能力。 首先，`logrus`...
Golang 日志接口应用实战源码
02-27
本文将深入探讨“Golang日志接口应用实战源码”所涉及的知识点，包括日志接口设计、日志级别、自定义日志处理器以及如何在实际项目中应用。 首先，`logger`目录很可能包含了日志处理的核心代码，可能包括一个实现了...
首次关于Golang高级爬虫实战课程+Golang语言实战应用之Beego轻博客开发教学
04-11
非常难得的关于Golang开发的高级实战课程，之前已经发布了非常多的Go语言基础学习教程，本次的课程是关于实战应用篇的技术教学。课程内容分为两个大的部分，第一部分就是非常重要的第一次关于GO语言的爬虫开发实战...
etcd入门与实践(含go代码)
PHP开发
04-07 1047
对比 一、etcd 支撑 服务发现 集群状态存储 配置同步 集群状态存储 配置同步 分布式锁 二、etcd原理 1、抽屉理论 大多数 2、etcd与Raft的关系 Raft是强一致的集群日志同步算法 etcd是一个分布式KV存储 etcd利用raft算法在集群中同步key-value 3、quorum模型 集群需要2N+1个节点 当leader复制给2N+1个节点后本地提交，返回客户端 ...
go 进阶 注册中心: 一. etcd 入门
qq_29799655的博客
05-09 1342
etcd 是一款用go语言编写的分布式存储中间件,采用Raft算法保证分布式系统数据的强一致性,通过分布式锁、leader选举和写屏障(write barriers)，来实现可靠的分布式协作应用场景服务发现（Service Discovery）消息发布与订阅负载均衡分布式通知与协调分布式锁、分布式队列集群监控与Leader竞选etcd满足了cap理论中的cp指标(c:一致性, a可用性, p分区容错性)
Go 学习笔记（58）— Go 第三方库之 etcd/clientv3（连接客户端、PUT、GET、Lease、Op、Txn、Watch 基础概念说明）
热门推荐
wohu1104的专栏
09-15 1万+
1. 安装 Golang 的 Etcd 包 我们使用 v3 版本的 etcd client ， 首先通过 go get 下载并编译安装 etcd clinet v3。 go get -v github.com/coreos/etcd/clientv3 该命令会将包下载到 $GOPATH/src/github.com/coreos/etcd/clientv3 中，所有相关依赖包会自动下载编译，包括protobuf、grpc等。 我们主要梳理一下使用 etcd 时经常用到的主要 API 并进行演示。 2. 连
【etcd介绍及其用go语言使用etcd】
m0_63296929的博客
10-24 735
对etcd进行了概括，对其工作原理进行了梳理，常用的操作进行了整理，最后整理了go操作etcd的方法
Go 版本 Etcd 客户端操作 Etcd（附完整 Demo）
热爱数据库的小胖
03-23 765
本文诣在使用 Go 客户端操作 Etcd，并实现元数据的写入（单条写、批量写）、读取（单挑读、前缀读）、监听（watch）、更新（update）！注：数据是以 Protobuf 格式存储到 Etcd 的！
Go使用Etcd
a1023934860的博客
05-25 1711
Go使用Etcd clientv3.New(clientv3.Config{})创建etcd客户端，在使用etcd客户端中具体操作与配置与etcdctl中的指令，参数类似，所以非常容易理解每个配置的含义。 cli, err := clientv3.New(clientv3.Config{}) 下面将讲解一下clientv3.Config类 type Config struct { // 配置etcd ip Endpoints []string `json:"endpoints"` //
ETCD：从应用场景到实现原理的全方位解读
s1070的专栏
07-11 1万+
随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现，更为重要的是，如何构建这样一套高可用、安全、易于部署以及响应快速的服务集群，已经成为了迫切需要解决的问题。etcd为解决这类问题带来了福音，本
etcd常用命令记录
weixin_30384031的博客
09-05 1101
etcd常用命令记录 1.查看etcd的版本 [root@etcd01 ssl]# curl -L http://127.0.0.1:2379/version {"etcdserver":"3.3.10","etcdcluster":"3.3.0"} 2.查看etcd暴露出来的prometheus指标；在prometheus对其监控时使用 ...
logrus 输出多个文件_Golang-logrus简单的日志收集系统(替代ELKB)
05-25
在使用 logrus 输出日志的过程中，我们可以通过 Hook 的方式将日志同时输出到多个文件中，下面是示例代码： ```go package main import ( "os" log "github.com/sirupsen/logrus" ) func main() { // 创建一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值