整合kafka->telegraf->influxdb来记录日志

最新推荐文章于 2025-02-07 10:13:00 发布

方方园园

最新推荐文章于 2025-02-07 10:13:00 发布

阅读量2.2k

点赞数

分类专栏： influxdb 时序数据库架构

本文链接：https://blog.csdn.net/qq_22041375/article/details/104878110

版权

本文介绍了如何将日志数据从kafka通过telegraf收集并发送到influxdb进行存储。首先，日志数据进入kafka，然后telegraf配置为以json格式读取数据，重命名字段，并指定特定的tag。通过json_query提取消息中的data字段，最后使用telegraf配置文件启动数据采集流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

https://www.cnblogs.com/siodoon/p/11422608.html
https://jasper-zhang1.gitbooks.io/influxdb/Write_protocols/line_protocol.html#

采集
https://www.jianshu.com/p/469648907036

1.本地流程切面日志进kafka

package com.sdyy.common.aop;

import com.sdyy.common.annotation.OperLog;
import com.sdyy.common.controller.BaseController;
import com.sdyy.common.entity.KafkaMessage;
import com.sdyy.common.entity.Log;
import com.sdyy.common.kafka.KafkaProducer;
import com.sdyy.common.retobj.BaseEntity;
import com.sdyy.common.utils.DateUtils;
import com.sdyy.core.auth.operator.entity.AuthOperator;
import lombok.extern.log4j.Log4j;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import org.springframework.web.context.request.RequestAttributes;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

import javax.servlet.http.HttpServletRequest;

/**
 *
 * 　  * @className: LogAspect
 * 　　* @description:日志切面
 * 　　* @param:
 * 　　* @return:
 * 　　* @throws:
 * 　　* @author: lizz
 * 　　* @date: 2020/03/15 18:37
 *
 */
@Log4j
@Component

最低0.47元/天解锁文章