![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 83
Master chy
深扎ToB SaaS赛道,研究CSM的组织架构和策略。
展开
-
HDFS四大机制的总结
这篇文章主要就HDFS的四大机制来做一些较为详细的说明。HDFS的四大机制:心跳机制(heartbeat)、安全模式、副本存放策略(机架策略)、负载均衡。四大机制1.心跳机制(heartbeat):(1)hadoop是一个Master/Slave结构,Master中有NameNode和ResourceManager,Slave中有DataNode和NodeManager;(2)Maste...原创 2018-12-14 15:11:49 · 727 阅读 · 0 评论 -
HDFS的常用shell命令
1原创 2018-12-10 19:57:03 · 926 阅读 · 0 评论 -
常用HDFS的API操作
标题原创 2018-12-06 20:31:52 · 6294 阅读 · 1 评论 -
HDFS的相关概念和特性
HDFS是分布式文件系统,英文全称是Hadoop Distributed File System,是一个用Java实现、分布式的、可扩展的文件系统。HDFS的主要功能是做存储用的,把每一份数据创建多个副本、做复制,默认的副本数是3份。整体设计思路大文件被切割为小文件,使用分而治之的思想让很多服务器对同一个文件进行联合管理。每个小文件做冗余备份,并且分散到不同的服务器中,做到高可靠不丢失。...原创 2018-12-11 10:02:53 · 687 阅读 · 0 评论 -
HDFS的两大核心
HDFS的两大核心包括写数据和读数据,这是HDFS的一个重点,下面笔者就讲解一下两大核心的过程。同时,笔者也会讲解一下元数据的合并过程。写数据1.客户端向NameNode发送文件上传请求;2.NameNode进行一系列的检查:权限、文件的父目录是否已经存在。检查通过之后,允许上传;3.允许客户端上传;4.客户端发送真正的文件上传请求,请求包含一个重要的信息:文件的长度、大小;5.Nam...原创 2018-12-17 09:54:50 · 1585 阅读 · 0 评论