Flink提交模式
Local模式
JobManager和TaskManager共用一个JVM,只需要jdk支持,单节点运行,主要用来调试
Standlone模式
Standlone是Flink自带的一个分布式集群,不依赖其他的资源调度框架,不依赖yarn等,充当Master角色的是JobManager,充当Slave/worker角色的是TaskManager
Yarn模式
Yarn模式 | 生命周期 | 资源隔离 | 优点 | 缺点 | main方法 |
---|---|---|---|---|---|
session | 关闭会话,才会停止 | 共用JM和TM | 预先启动,启动作业不再启动。资源充分共享 | 资源隔离比较差,TM不容易扩展 | 在客户端执行 |
Per-job | Job停止,集群停止 | 耽搁job独享JM和TM | 充分隔离,资源根据jon按需申请 | job启动慢,每个job需要启动一个jobManager | 在客户端执行 |
Application | 当Application全部执行完,集群才会停止 | Application使用一套JM和TM | Client负载低,Application之间实现资源隔离,Application内实现资源共享 | 对per-job模式和session模式的优化部署模式(优点) | 在Cluster |
flink项目做了什么
-
实时监控:
1.用户行为报警,服务器攻击预警 -
实时报表:
1.活动直播大屏:6.18 双11
2.对外数据产品实效性
3.数据化运营 -
流数据分析:
1.实时计算相关指标反馈及时调整决策
2.内容投放 无线智能推送 实时个性化推荐等 -
实时仓库:
1.数据实时清晰,归并,结构化
2.数仓的补充和优化