flink实时数仓-旁路缓存优化

1.旁路缓存

外部数据源的查询常常是流式计算的性能瓶颈。在实时数仓中DWS中不少指标需求需要关联hbase中的维表。每次查询都要连接 Hbase，数据传输需要做序列化、反序列化，还有网络传输，严重影响时效性。可以通过旁路缓存对查询进行优化。
旁路缓存模式是一种非常常见的按需分配缓存模式。所有请求优先访问缓存，若缓存命中，直接获得数据返回给请求者。如果未命中则查询数据库，获取结果后，将其返回并写入缓存以备后续请求使用。

（1）旁路缓存策略应注意两点

• 缓存要设过期时间，不然冷数据会常驻缓存，浪费资源。
• 要考虑维度数据是否会发生变化，如果发生变化要主动清除缓存。

（2）缓存的选型
一般两种：堆缓存或者独立缓存服务（memcache，redis）
堆缓存，性能更好，效率更高，因为数据访问路径更短。但是难于管理，其它进程无法维护缓存中的数据。
独立缓存服务（redis,memcache），会有创建连接、网络IO等消耗，较堆缓存略差，但性能尚可。独立缓存服务便于维护和扩展，对于数据会发生变化且数据量很大的场景更加适用，此处选择独立缓存服务，将 redis 作为缓存介质。
（3）实现步骤

• 从缓存中获取数据。
• 如果查询结果不为 null，则返回结果。
• 如果缓存中获取的结果为 null，则从 Phoenix 表中查询数据。如果结果非空则将数据写入缓存后返回结果。
• 否则提示用户：没有对应的维度数据
  4）旁路缓存图解