OLAP场景下大数据领域技术发展趋势
1 OLAP场景,共同特点:
- 绝大多数是读请求
- 数据批次更新,而不是单行更新
- 已添加到数据库的数据不能修改
- 对于读取,从数据库中提取相当多的行,但只提取列的一小部分,列存储
- 宽表,即每个表包含着大量的列
- 查询相对较少(通常每台服务器每秒查询数百次或更少)
- 事务不是必须的,对数据一致性要求低
- 查询结果明显小于源数据。数据经过聚合运算后可放入单个服务器的RAM中
2 发展趋势
step1
hive hbase hdfs yarn hadoop zookeeper kafka
step 2
spark tensorflow mongoDB eleasticsearch redis
step 3
kudu druid heron flink
step 4
Iceberg hudi clickhouse deltalake
3 部分技术栈优缺点,后续持续总结ing
ck:
对于雪花模型,星型模型的支持很差,不支持hashjoin 也就是宽表模型适合它的场景。 伪分布式表。 不可否认用户行为分析,标签大款表确实它的强项,但是宽表的弊端本身很多。大表join困难。
hive:
更新困难、拉链表的操作痛彻心扉