![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop_学习笔记
之崛起
这个作者很懒,什么都没留下…
展开
-
Hadoop_学习笔记_MapReduce组件概述_未完成
MapReduce组件 1、特点 2、组成 Partitionner :负责数据的筛选分区原创 2020-07-21 19:29:45 · 160 阅读 · 0 评论 -
Hadoop_源码学习笔记_切片大致流程
编号为步数,没有第八步(我应该是想写点东西来着但是忘记了写什么 )原创 2020-07-19 12:25:44 · 186 阅读 · 0 评论 -
Hadoop_学习笔记_流程及其相关知识
一、读流程 1、首先使用FileSystem.get函数与服务器建立连接 2、然后使用filesystem.open函数请求文件读取,此时namenode检测用户是否有权限以及文件是否存在然后根据网络拓扑获得一批存储块信息的列表封装到流中返回 3、客户端接收到流后分别与列表中的每一个块建立管道以64字节为单位读取文件,如果读取失败则标记此块并在列表中重新选择一个块去读取直至成功。每读取完一个块则断开管道,然后重新连接下一个管道如果此批块读完但是没有完成文件读取则申请下一批直至完成。 4、完成后close 二原创 2020-07-19 16:53:03 · 105 阅读 · 0 评论