最近很久没写blog了,主要是这几个月在带领团队去做一个big data for realtime的项目(准确的说是一个实时海量数据的OLAP),因为时间较为紧张,就随笔记录一下。
目前由我负责带领团队成员一起,进行公司整体数据中心的建设,包括实时查询平台、离线平台、在线平台的整体架构与设计(这里不包括具体的BI部分、数据挖掘及分析部分),因为业务的原因,我们公司对实时要求非常迫切,基本上实时占比90%。
首先是实时查询系列,目前我们使用的是druid.io这个分布式海量实时查询OLAP项目(注:此druid不是alibaba的druid数据库连接池项目)
第六章:如何对druid.io做成平台化
第八章:如何做好druid.io的二次开发
为了更好的使用和了解druid.io,我们团队的成员将在业余时间里翻译官方的文档。
注:
最新版本,提供了生产环境下的相关配置参考(但没有realtime节点的配置),并且也提供了相关使用建议。不过相关各节点的配置信息减少。并且关于middleManager节点如何运行及与overlord交互的demo没有
目前社区还是比较薄弱,大部分需要各自团队付出艰辛的努力去掌握此技术。
用druid.io是用来区分druid关键字在搜索过程中出现都是阿里的druid连接池的资料。