![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
原理详解
绿萝蔓蔓绕枝生
这个作者很懒,什么都没留下…
展开
-
HDFS读写流程详细解读
HDFS读文件流程: 读取文件过程简述: 1、客户端向NameNode发起读数据请求; 2、NameNode响应请求并告诉客户端要读的文件的数据块位置(存在哪个DataNode上); 3、客户端到对应DataNode读取数据,当数据读取到达末端,关闭与这个DataNode的连接,并查找下一个数据块,直到文件数据全部读完; 4、最后关闭输出流。 读取文件过程详细解读: 1、客户端调用FileSystem 实例的open 方法,获得这个文件对应的输入流InputStream。 2、通过RPC 远程调用Name原创 2020-12-09 14:17:20 · 402 阅读 · 0 评论 -
分布式资源管理框架Yarn的工作机制(执行流程)
Yarn工作机制流程图 Yarn工作机制详细介绍 1.客户端提交作业,申请jobID(提交给ResourceManager中的Application Master(用于处理客户端的请求)) 2.ResourceManager返回一个作业ID,并将HDFS路径返回给客户端 3.客户端将运行作业所需要的资源(Jar包、配置信息、分片信息等)上传到返回的HDFS路径 4.客户端在次向ResourceManager发送请求,执行作业 5.将请求转发到调度器(ResourceScheduler)原创 2020-12-07 20:12:33 · 260 阅读 · 0 评论