Flink

简介

核心组件

应用

1.批处理
2.批核流混合处理(批处理是离线等待总数据后处理，流处理为不间断流式处理)
3.纯流处理(默认开启cpu核心数的线程)

UI

1. 可查看运行中日志
   

部署

1. 提交作业方式
   1. WEBUI上submit
   2. 命令行加参数(和UI中参数一样)
2. 部署模式
   1. 会话模式(Session) client执行 启动单个集群会话竞争共有资源 集群的生命周期长驻不跟随作业 单个规模小、执行时间短的大量作业
   2. 单作业模式(Per-Job) 常用 client执行 一个作业启动一个集群(应用程序内部多个作业则多个集群) 需要借助k8s、yarn资源管理框架
   3. 应用模式(Application) jobmanager执行 应用程序包含多个作业对应一个集群 需要资源管理框架
3. yarn

   1. session 命令行或者ui界面提交作业 初始非必需设置slot等 动态分配(集群自适应)
      

   2. 单作业