本文介绍了Druid作为海量数据查询和聚合工具的使用，重点在于实验室系统的搭建思路。内容涵盖dataSource的定义、Zookeeper配置、Kafka topic的对接以及性能调优的关键参数，如feed、持久化周期和实时服务窗口大小。通过flume+kafka+Druid的组合，实现高效流数据处理。
Druid是个用于海量查询、聚合的工具，项目比较新，资料方面还比较少。这里是一位博主fish_cool总结的资料，包括Druid的简介，适用的场景，用法等，很大部分也是从Druid官网上总结的，写得很不错。这篇文章要介绍的是实验室自己的系统设计思路。
整个系统的架构是 flume -> kafka -> druid，flume 与kafka的整合之前在搭建flume -> kafka -> storm的时候有详细文档，通过 flume实现为kafka 的producer api，将程序打包成 jar放置在flume/lib 下，配置agent文件即可。
一、部署
部署druid需要先部署它的一些依赖，最主要的是两个： zookeeper和mysql ，zookeeper是 druid集群非常重要的一环，用于管理各个不同节点之间的工作和协调系统的运行。 mysql则是用来存储rules， segment等等的元数据。
zookeeper
最低0.47元/天 解锁文章
扫一扫
2238
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
