Flink项目中的重难点（二）

在第一章中，我们采用了使用维度表写入HBase，事实表写入主流的，采用flinkCDC的方法读取mysql中配置表信息从而实现动态分流的问题。

优化一：
在第二章中，我们对于从HBase中读取数据可以使用旁路缓存的方法，快速的抓取数据，让整个数据的传输过程速度更快。于是新的问题出现了，在整个流式处理框架中，对外部数据源的信息抓取一直是一个性能瓶颈。

//旁路缓存模式是一种非常常见的按需分配缓存的模式。任何请求优先访问缓存，缓存命中，直接获得数据返回请求。如果未命中则，查询数据库，同时把结果写入缓存以备后续请求使用。

解决方式：
同时也不必使内存全部占满。为了追求速度，我们是用redis，将HBase中的数据从磁盘传到redis的内存中。

优化二：
异步IO
·背景：在维度表和事实表进行join的过程中，存在大量和外部系统交互的存在，这很容易成为实时计算的瓶颈。
在flink1.2中提供了异步IO，

简单地访问外部数据库的数据，比如使用 MapFunction，通常意味着同步交互： MapFunction 向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运行的大部分时间。//此技术由阿里巴巴提供。

异步查询实际上是把维表的查询操作托管给单独的线程池完成，这样不会因为某一个查询造成阻塞，单个并行可以连续发送多个请求，提高并发效率。