apache druid
Apache druid Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。 另外,Druid 还有一个关键的特点:它支持根据时间戳对数据进行预聚合摄入和聚合分析,因此也有用户经常在有时序数据处理分析的场景中用到它
druid 日志爆炸
环境默认的输出日志经常出现一个文件几十G的情况,需要通过提供的日志配置自行调整,防止这种日志文件爆炸情况。
日志正常分隔一般根据大小或是时间两个维度。
druid 提供log4j2的日志配置。
日志配置目标 apache druid 包含多个节点coordinator,overlord,MiddleManager,Broker,Historical.
集群本身共用一个日志配置文件(_common).
目标:不同的节点输出至自身的配置文件中。
apache druid 使用 log4j2 防止日志爆炸(0.13版本)
配置实例 本次以broker 节点为例
在broker中包含运行配置文件。
jvm.config
runtime.properties
在jvm.config加入参数
-Dlogfile.name=broker
-server
-Xms64g
-Xmx64g
-XX:MaxDirectMemorySize=15360m