计算存储架构模型的发展分享

1》传统热点账户解决方法

• 在峰值时减缩数据量，进行缓存队列操作，后续进行读入操作。

2》传统方法问题

1. 实时性低，会有延迟问题
2. 会有数据不一致的安全问题，需要监管数据
3. 瞬间热点可能会造成集群崩溃

3》优化

• 使用高性能kv数据库，整条链路做无锁操作，一个业务模式在底层作为原子性操作
• 离线更新数据和系统实时更新数据，两者融合数据同步操作。

4》数据抽象与虚拟化技术

1. 上层控制因子特征自动发现，策略的制定，规则仿真验证，端到端的自动因子和策略选择等
2. 中层为虚拟数仓，（业务开发下只对应虚拟的一张表，但是物理上有可能存储在不同的地方）
3. 下层是不同计算引擎（使用不同引擎来支持实时和线下计算）可以做不同的调配。选择引擎执行，
   采用流批一体（一个sql可以在流上，也可以在批上）

5》图计算

• 在数据非常大对复杂数据进行分析时，从原来点的标签特征到线的行为特征，最终发展将采用图计算的方式，多点多维度的特征，围绕图数据展开。

6》传统数仓

• 数据以表的形式存储在数据较大时分为多个表，采用传统的查询批处理引擎，当产生一个业务，可能进行各种分层分表的操作。

7》虚拟数仓

• 业务直接对接一个虚拟表，实现细节优化以及分表不应该对接业务（由底层引擎优化分出它是实时的数据流处理还是批处理的引擎）实时计算数据流和批处理的传统查询的融合，无需多次开发。