![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 77
你川锅
这个作者很懒,什么都没留下…
展开
-
Flink相关整理
FlinkApache Flink是一个计算框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理,支持Java、Scala和Python。DataStream API,对数据流进行流处理操作,将流式的数据原创 2020-06-14 22:35:29 · 440 阅读 · 0 评论 -
Yarn相关流程梳理
Yarnyarn是一个集群资源管理系统:拥有一个集群一个的资源管理器和运行在集群中的所有节点上的节点管理器来启动和监控容器。运行流程Client向ResourceManager提交ApplicationMaster的基本信息;ResourceManager启动一个容器(container)来运行applicationMaster;ApplicationMaster会向ResourceManager注册自己,并发送心跳检测;ApplicationMaster向ResourceManager请求相原创 2020-06-14 22:33:15 · 359 阅读 · 0 评论