flink学习

flink 原理解析：讲解

 

        本质：相当于一个消息队列

        作用：1.多数据源数据整理，统计，进行一些操作，写入新的数据源

                   2.监听数据库binlog，进行数据实时处理

        结构：

         具体流程：

                1.通过消息队列例如(kafka、mysql cdc)等进行监听，收集多通道的数据

                2.flink 通过消费者消费消息队列里的数据进到flink中

                3.在flink里面进行一些数据的操作(清洗、Join、操作)

                4.通过生产者生产操作好的数据

                5.消息队列接收flink所生产的数据，进行修改数据库

          flink内部是什么样的：

                flink名词解释：

                        Flink Program：（flink客户端）用于接收数据

                        JobManager：用于管理任务去向节点，并进行数据快照存储持久化

                                                1.Actor System：用于接收数据并且