apache druid 使用 log4j2 防止日志爆炸(0.13版本)

Apache Druid 是一个用于实时多维 OLAP 分析的分布式系统,其日志默认输出可能导致文件过大。为解决此问题,可通过Log4j2配置进行调整,比如设置滚动策略按大小分隔,以防止日志文件爆炸。本文以Broker节点为例,展示了如何在Druid集群中配置Log4j2,以实现不同节点的日志独立,并防止日志文件过度增长。
摘要由CSDN通过智能技术生成

 

apache druid

Apache druid Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。 另外,Druid 还有一个关键的特点:它支持根据时间戳对数据进行预聚合摄入和聚合分析,因此也有用户经常在有时序数据处理分析的场景中用到它

druid 日志爆炸

环境默认的输出日志经常出现一个文件几十G的情况,需要通过提供的日志配置自行调整,防止这种日志文件爆炸情况。

日志正常分隔一般根据大小或是时间两个维度。

druid 提供log4j2的日志配置。

日志配置目标 apache druid 包含多个节点coordinator,overlord,MiddleManager,Broker,Historical.

集群本身共用一个日志配置文件(_common).

目标:不同的节点输出至自身的配置文件中。

apache druid 使用 log4j2 防止日志爆炸(0.13版本)

配置实例 本次以broker 节点为例

在broker中包含运行配置文件。

jvm.config

runtime.properties

在jvm.config加入参数

-Dlogfile.name=broker

-server
-Xms64g
-Xmx64g
-XX:MaxDirectMemorySize=15360m
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值