平台架构
以常用开源平台为基线,深入探秘平台内部的核心,挖掘本质
不朽探寻者
海纳百川,卓越不凡!
展开
-
OLAP-Druid-原理
1 Druid简介 OLAP 又分实时 OLAP 和离线 OLAP。大数据的一些架构,比如常见 Hive + Hadoop,SparkSQL + HDFS,Kylin 等就是离线 OLAP,而一些监控告警系统这种对实时性要求比较高的系统就是实时 OLAP。而Druid属于实时OLAP范畴。 1.1特性 列式存储。列式存储的优势在于查询的时候可以只返回指定的列的数据,其次同一列数据往往具有很多共性,这带来另一个好处就是存储的时候压缩效果比较好。 可扩展的分布式架构。 并行计算。 数据摄入...原创 2020-12-14 18:10:10 · 506 阅读 · 0 评论 -
OLAP-Impala-原理
1 Impala理论 1.1 Impala简介 Impala由Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能,且基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点,是CDH平台首选的PB级大数据实时查询分析引擎。 其部署架构如下: 1.2Impala特点 基于内存进行计算,能够对PB级数据进行交互式实时查询、分析 无需转换为MR,直接读取HDFS数据 C++编写,LLVM统一编译运行 兼容HiveSQL 具有...原创 2020-12-14 15:58:21 · 277 阅读 · 0 评论