1.Flink是什么
Flink是一个流式计算框架,它可以处理无限量的数据,并在真正的实时上下文中运行。
Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎,它支持批处理和流处理,并提供了丰富的API和库,是实时数据处理的理想选择。
2.主要角色
Flink中的主要角色有:
JobManager:负责接收提交的作业并分配任务,监控作业的执行情况,并在节点故障时重新分配任务;
TaskManager:负责实际的任务执行,包括数据的读取、转换、计算和输出;
Client:提交作业的客户端,将作业提交至JobManager,并接收作业的执行结果。
3.角色之间的通讯方式
Flink中角色之间的最佳通讯方式是基于Akka实现的异步消息传递。
JobManager和TaskManager之间的通讯是通过异步的消息传递来完成的。
当JobManager需要向TaskManager发送指令时,会将指令封装成消息发送给TaskManager,并等待TaskManager的响应。
TaskManager在接收到消息后,会执行相应的指令,并将执行结果返回给JobManager。
4.需要监控的指标
1.作业的执行情况,包括作业的启动时间、执行时间、完成时间等;
2.TaskManager的资源使用情况&

Flink是一个流式计算框架,提供高性能、分布式处理能力。JobManager负责作业管理和任务分配,TaskManager执行任务。角色间通过Akka进行异步通讯。监控指标包括作业执行、资源使用和数据流状态。在不同集群环境下,如YARN或Kubernetes,有特定进程如ApplicationMaster和TaskExecutor参与任务管理。
最低0.47元/天 解锁文章
1593

被折叠的 条评论
为什么被折叠?



