- 博客(9)
- 收藏
- 关注
RSS订阅原创 Flink运行时架构
所以对于第一个任务节点source→map，它的6个并行子任务必须分到不同的slot上，而第二个任务节点keyBy/window/apply的并行子任务却可以和第一个任务节点共享slot。这就意味着map 算子的子任务，看到的元素个数和顺序跟source 算子的子任务产生的完全一样，保证着“一对一”的关系。一个数据流在算子之间传输数据的形式可以是一对一（one-to-one）的直通（forwarding）模式，也可以是打乱的重分区（redistributing）模式，具体是哪一种形式，取决于算子的种类。
2024-07-05 16:25:12
972
原创 Flink部署
打包完成后，在target目录下即可找到所需JAR包，JAR包会有两个，FlinkTutorial-1.0-SNAPSHOT.jar和FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar，因为集群中已经具备任务运行所需的所有依赖，所以建议使用FlinkTutorial-1.0-SNAPSHOT.jar。在YARN环境中，由于有了外部平台做资源调度，所以我们也可以直接向YARN提交一个单独的作业，从而启动一个Flink集群。
2024-07-04 18:17:31
1035
原创 Flink 的特性总结
Flink 提供了事件时间（event-time）和处理时间（processing-time）本身高可用的设置，加上与 K8s，YARN 和 Mesos 的紧密集成，再加上从故。⚫ 能够更新应用程序代码并将作业（jobs）迁移到不同的 Flink 集群，而不会丢失应用。：Flink是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点进行处理。障中快速恢复和动态扩展任务的能力，Flink 能做到以极少的停机时间 7×24 全天候。对于乱序事件流，事件时间语义仍然能提供一致且准确的结果。
2024-07-04 15:49:45
418
原创 关于使用华为云搭建Hadoop集群，在关闭ResourceManager时出现WARNING: nodemanager did not stop gracefully after 5 seconds
关于使用华为云搭建Hadoop集群，在关闭ResourceManager时出现WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9关闭时发现只有ResourceManager所在的节点的nodemanager是正常关闭，node1和node3的nodemanager关闭都出现了：查看了node1的日志，发现一直在连接ResourceManager所在节点的8031端口，但是连接
2022-03-23 23:43:23
7638
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人