![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
冒_冒
这个作者很懒,什么都没留下…
展开
-
大数据-Hadoop的四大机制
Hadoop四大机制 1.心跳机制 ** 心跳的报告信息:datanode块信息,存活状态 ** 每三秒datanode向namenode发送心跳信息 ** 连续10次未收到心跳信息,namenode会向datanode发送验证信息,10分钟一次,两次未响应,则datanode可能宕机了,时间是:3*10+300*2 = 630s 2.安全模式 集群启动顺序:namenode -...原创 2019-04-12 16:11:46 · 233 阅读 · 0 评论 -
Hadoop集群文件上传及下载过程和hdfs各角色的作用
文件上传 文件上传过程: 客户端向namenode发送文件上传的请求 namenode进行一系列的检查.权限.文件的父目录是否存在 文件是否同名,检查通过则允许上传 允许客户端上传 客户端发送真正的文件上传的请求,请求包含一个重要信息,文件的长度和大小 namenode根据文件的长度计算文件的切块的个数,获取副本的配置信息;返回副本的节点的信息的时候原则: 就近原则 ,客户端所在节点,同机架,不...原创 2019-04-12 17:45:51 · 730 阅读 · 0 评论