Flink-SQL 实时统计在金融场景的应用

几个月前，Filnk社区发布了最新的稳定版：Flink-1.11.1

从2018年起就开始使用Flink解决金融业务场景的需求，我经历了Flink的1.6 -> 1.9 ->  Blink -> 1.10.1 -> 1.11.1

大概我总结了下，在我的工作中，Flink为我们带来了什么实际意义，在整个金融系统中，Flink扮演了一个什么角色呢？

 

1.实时数据传递与聚合（1.6）：

       想象一下，我们有一个接口场景，例如在金融后台系统中，可以通过输入金融单号查询这个金融单的全部流程与状态，想查出全部数据大概需要再后端去查30张表进行join，然后把结果返回给前端。慢到加索引也不能很好的解决问题，因为单表可能就有近千万条数据。在2018年Q4引入了flink，做下游的，根据主键的宽表实时聚合，拉出一个很大的宽表，通过监听上游的业务系统日志，按照主键做分批字段的实时CRUD。

       2018年底我们上线了基于Flink的实时金融单后台数据系统，将数据提供给业务人员展示和操作，它由5个job构成，上线后原本一线的业务员在给客户走线签时要等待半分钟甚至数分钟才能查询到的信息，可以在300毫秒内在页面上返回，在1分钟内即可出发业务下游操作，加速推动用户完成签约，极大的提升了效率。以此为起点，我们衍生出了金融流程可视化系统，实时交易统计等。

 

2.数据可视化（1.6，Blink，1.9，1.10，1.11）

      数据可视化前几年还是挺新潮的，不过最近几年&