本文介绍了如何将数据实时写入Druid，采用Tranquility作为工具。首先阐述了需求，即启动单机版Druid并直接通过客户端写入数据。接着介绍了调研方案，包括Druid+Tranquility的快速启动方法，Druid的单机配置步骤，以及Tranquility的使用和配置。提供了相关的官方文档链接和示例代码。在实践中遇到了依赖问题和数据写入异常，最后因Tranquility的时间窗口限制，决定转向Kafka Indexing Service作为替代方案。
需求
- 启动一个单机版 Druid
- 直接通过一个客户端写一些数据进去，不通过其他 kafka 或者 批量导入之类的
调研出来的方案
- 启动 Druid + tranquility
- Druid+Tranquility 快速启动：http://druid.io/docs/latest/tutorials/tutorial-tranquility.html
- Tranquility仓库：https://github.com/druid-io/tranquility
- 通过 tranquility 将数据写进 Druid
- 示例代码：https://github.com/druid-io/tranquility/blob/master/core/src/test/java/com/metamx/tranquility/example/JavaExample.java
- data schema 配置文件
- druid： http://druid.io/docs/0.13.0-incubating/ingestion/ingestion-spec.html
- tranquility： https://github.com/druid-io/tranquility/blob/master/docs/configuration.md
- Tranquility 的配置是在 druid 的外面又封装了一些对 druid 的配置项
- 部分解决 tranquility 依赖问题：https://groups.google.com/forum/#!topic/druid-user/5afMWd17sbU
Druid 单机配置
-
官网 Quickstart
-
下载 Druid
-
下载 Zookeeper 并改名为 zk 放到 Druid 根目录
curl https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11
最低0.47元/天 解锁文章
480
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
