应用场景
- presto
Presto是Facebook开发的数据查询引擎。对orc文件读取做了优化,建议建表使用orc,压缩使用snappy。大表放左边。基于内存,不使用mapreduce,能够连接多个数据源,跨数据源表查询
适合场景:
适合如count,avg聚合运算,边计算边清内存,支持GB到PB,主要用来处理秒级场景。
缺点:
不适合联表查询
- Druid
是一个实时分析型的数据库,支持实时分析,列式分布式的存储系统,处理PB毫秒级查询。
适合场景:
用于清洗好的,不需要更新的单表,实时性高,数据质量敏感不高的场景
- kylin
kylin是一个开源的、分布式的分析型数据仓库。使用预计算技术,预先对数据做多维索引,查询只扫描索引不访问原始数据,目前只支持星型模型。
适合场景:
主要配合hive,多维分析
- flink
Flink是一个分布式处理引擎。批处理主要处理大容量的静态数据集;流处理基于事件的,处理数据无边界,处理结果立即可用,持续更新。
适合场景:
流批一体,实时采集、实时计算