HDFS
对HDFS进行详细学习
喵先生呢
优秀的人哪都好,唯一的缺点是让人觉得自己是个垃圾。
展开
-
9. HDFS 2.X新特性
HDFS存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在减少NameNode内存使用的同时,允许对文件进行透明的访问。具体说来,HDFS存档文件对内还是一个一个独立文件,对NameNode而言却是一个整体,减少了NameNode的内存。原创 2020-07-07 14:05:21 · 208 阅读 · 0 评论 -
8. 服役和退役数据节点DataNode
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点,或者活动结束之后要撤掉一部分数据节点..原创 2020-07-07 13:59:51 · 234 阅读 · 0 评论 -
7. DataNode工作机制
一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳...原创 2020-07-07 13:51:23 · 139 阅读 · 0 评论 -
6. 集群安全模式
集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。原创 2020-07-07 12:54:21 · 148 阅读 · 0 评论 -
5. HDFS--NameNode和SecondaryNameNode
NameNode和SecondaryNameNode工作机制,Fsimage和Edits解析,NameNode故障处理,以及NameNode多目录配置。原创 2020-07-07 10:51:52 · 161 阅读 · 0 评论 -
4. HDFS的数据流-读写数据过程
在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢?原创 2020-07-06 21:58:06 · 276 阅读 · 0 评论 -
3. HDFS客户端操作
通过HdfsClient类,进行对Hdfs文件系统中的文件进行一系列的操作,实现步骤分为:1.获取文件系统;2.执行操作;3.关闭资源;原创 2020-07-06 09:36:23 · 258 阅读 · 0 评论 -
2. HDFS的Shell操作
前面的演示中使用的都在这个bin/hdfs dfs 具体命令在实际开发中下面这个也是比较常用的bin/hadoop fs 具体命令 ,可以理解为dfs是fs的实现类。原创 2020-07-06 09:23:08 · 178 阅读 · 0 评论 -
1. HDFS概述
HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;`其次,它是分布式的,`由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。原创 2020-07-06 09:03:59 · 281 阅读 · 0 评论