![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Druid
breeze_lsw
打杂工程师
展开
-
Druid 消费一个 kafka topic 发送到不同数据源
文章目录背景解决办法一. 过滤标识在消息体中二. 过滤标识在 header 中源码修改逻辑背景数据采集时,为了避免在 kafka 中创建大量的 Topic ,采集时会将小的数据源写入一个共享 Topic 中,以某个字段作为标识。这里有两种方式:直接将标识写入消息体中将标识写入 record header 中 (kafka 0.11版本后支持)Druid 使用 druid-kafka-...原创 2019-04-11 00:32:29 · 2496 阅读 · 9 评论 -
Apache Druid 平台化 - 数据接入篇
文章目录数据接入背景方案设计druid 数据接入的一些经验一. hive 数据导入自动填充分区二. zstd 编码支持三. keberos四. druid-0.15.0 进程自动退出五. druid 对数据进行 ETL数据接入背景使用界面化和 sql 的方式将数据导入到 druid,提供数据给后续告警,监控,查询等服务使用。方案设计数据源1:内部消息服务 dclog ,本质上是一个 ka...原创 2019-08-20 17:08:09 · 5184 阅读 · 8 评论