OLAP场景下大数据领域技术发展趋势

OLAP场景下大数据领域技术发展趋势

1 OLAP场景，共同特点：

• 绝大多数是读请求
• 数据批次更新，而不是单行更新
• 已添加到数据库的数据不能修改
• 对于读取，从数据库中提取相当多的行，但只提取列的一小部分，列存储
• 宽表，即每个表包含着大量的列
• 查询相对较少(通常每台服务器每秒查询数百次或更少)
• 事务不是必须的，对数据一致性要求低
• 查询结果明显小于源数据。数据经过聚合运算后可放入单个服务器的RAM中

2 发展趋势
step1

hive  hbase hdfs yarn hadoop zookeeper  kafka 

step 2

spark tensorflow  mongoDB eleasticsearch redis

step 3

kudu  druid heron flink

step 4

Iceberg  hudi  clickhouse deltalake

3 部分技术栈优缺点，后续持续总结ing
ck:
对于雪花模型，星型模型的支持很差，不支持hashjoin 也就是宽表模型适合它的场景。 伪分布式表。 不可否认用户行为分析，标签大款表确实它的强项，但是宽表的弊端本身很多。大表join困难。
hive:
更新困难、拉链表的操作痛彻心扉