![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
爱学习的小明同学
一名大数据开发工程师。。。
展开
-
HDFS的基本概念介绍
1. HDFS的设计思路? hdfs是分布式的文件系统,用来在廉价的集群上做大数据量的存储。 1.大文件被切割成小文件,使用分而治之的思想让很多服务器对同一个文件进行联合管理 2.每个小文件做冗余备份,并且分散存到不同的服务器,做到高可靠不丢失 2. HDFS的架构? namenode:集群老大,掌管文件系统目录树,处理客户端读且请求SecondaryNamenode:持久化元数据,主要...原创 2019-01-17 20:32:25 · 183 阅读 · 0 评论 -
HDFS的shell和API操作
1. HDFS的shell操作 hadoop version //查看版本 hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加 hadoop fs -cat file(hdfs目录下的文件) //查看文件内容 Hadoop fs -tail file(hdfs目录下的文件) //...原创 2019-01-17 20:41:19 · 235 阅读 · 0 评论 -
hdfs的四大机制和两大核心
四大机制: (1)心跳机制: 介绍: hdfs是主从架构,所有为了实时的得知dataNode是否存活,必须建立心跳机制,在整个hdfs运行过程中,dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。 心跳内容: - 报告自己的存活状态,每次汇报之后都会更新维护的计数信息 - 向nameNode汇报自己的存储的block列表信息 ...原创 2019-01-17 20:44:09 · 351 阅读 · 0 评论