腾讯mini项目【指标监控服务重构】- 2023-07-06

2023-07-06

今日已办

部署服务

添加标注两行可以成功构建镜像

注释所在行成功启动

访问traefik

访问kafka-ui异常

---

阅读代码

文档

特征

• 接收来自kafka的性能事件并进行分析
• 性能事件的并发处理
• 支持多种类型的性能事件
• 将分析结果输出到不同的sink

配置

profile 支持从配置文件、命令行标志和环境变量进行配置 cos 密钥、数据库连接等秘密信息必须在配置文件或环境变量中配置（环境变量的优先级高于配置文件）。同时，需要经常更改的参数可以在命令行标志中配置。

配置文件

profile 会尝试按顺序查找 profile.yaml 文件：

• 命令行参数中的 --home

• 环境变量中的 PROFILE_HOME

  默认目录的 XDG_CONFIG_DIRprofile

  当前目录

配置文件 profile.yaml 包含 kafka连接、日志级别、开发模式等

环境变量

环境变量的格式与配置文件中的键名称相同，但全部大写并用“_”分隔。例如，配置文件中的键“log.level”将是环境变量中的“LOG_LEVEL”。环境变量的优先级高于配置文件。

使用

设置配置文件和环境变量，然后运行以下命令：

profile consume

快速开始

profile consume -g <group> -t <topic regex> 

帮助

profile --help

TODO

• 将结果写入不同的接收器
• 支持多种类型的性能事件
• 全面的otel支持

目录结构

├─config         // 配置文件
│  ├─clickhouse
│  │  └─config.d
│  ├─grafana
│  │  ├─dashboards
│  │  │  └─clickhouse
│  │  └─datasources
│  └─traefik
├─profile        // profile模块
│  ├─cmd                      	// 命令
│  └─internal                   // 内部逻辑
│     ├─baserunner					// 维护基础上下文，如logger、handler
│     ├─config                  	// 初始化配置
│     ├─connector                   // 连接器，kafka的操作，如获取生产者、主题
│     ├─context                     // 上下文
│     │  └─consumer				   			// 初始化上下文，消费者调度处理
│     ├─log                         // 日志
│     ├─runtime                     // 运行时
│     ├─schema                      // 模式，统一数据模式
│     │  └─performance              		// 性能事件
│     └─state						// 状态
└─venus
    ├─cmd
    ├─data
    └─internal
        ├─config
        ├─connector
        ├─ip
        ├─log
        ├─schema
        └─service
            ├─handler
            └─protocol

—

明日待办

1. 阅读熟悉代码
2. 完整运行项目、测试工具是否正常
3. 讨论SLI的设计
4. 小组内开会讨论，收集问题，跟进小组成员进度