数据分析工具Druid.io使用体会
使用场景
个人认为数据分析是数据挖掘工作中比较重要的一环,是基于已有数据在各个维度、方向上进行的分析工作。通过对数据进行钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot)等操作,数据分析师们可以从海量数据中发现显见的数据规律,从而反馈于业务,进而产生商业价值。在个人所接触过的数据分析软件中,druid.io是目前功能比较强大、应用较为广泛、社区较为活跃的为数不多的工具。下面就记录一下个人在使用该工具时的一些体会,主要包括使用场景以及遇到的问题。
一、数据OLAP分析
这是druid.io工具最主要的功能。它提供了功能强大的基于sql和原生rawQuery两种方式来对存储的数据dataSource进行数据分析。
此外druid.io产品体验很好。它提供了很多数据来源的connect,常见的包括kafka、http source、local/s3/hdfs file等。同时提供标准的接入流程spec, 通过spec定义数据来源、数据解析、时间字段定义、数据分区和持久化策略等。这使得数据分析变得很规范。
问题:
- 不支持自定义函数,不完全兼容标准SQL。适用于新业务场景接入,老业务迁移需谨慎。
- 没有多租户设计。这导致很尴尬,一套服务多人使用,彼此之间没有隔离。
- SQL查询历史不会持久化保存。所有的数据分析SQL必须另外保存在其他服务中,增大了使用操作量。
二、时间序列数据仓库Data Warehouse
druid.io的数据存储设计天然适合时间序列数据。每条数据都有__time这个字段,表示数据对应的生成时间,同时根据时间进行分段存储,在数据存储和查询上效率较高。
除了存储,druid.io还对外部系统提供http协议的数据查询服务。这使得数据分析师的分析结果可以通过http协议的方式被外部系统获取,可以给到一些响应实效要求不高的业务中使用。
问题:
- 缺少数据写入幂等性,相同时间点可以有多条一样的数据。这导致因某些原因重复写入数据时,最终存储数据比实际数据要多,需要数据分析做查询去重。
总结
数据分析工具druid.io提供的功能是很强大的,非常适合用于实时的数据OLAP分析。同时做为时间序列数据的数据仓库使用也是合适的。