hdfs
文章平均质量分 71
彩笔程序猿zxxxx
这个作者很懒,什么都没留下…
展开
-
HDFS的Trash回收站功能
文件的删除和恢复博客和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在NameNode中原创 2017-11-23 10:52:02 · 683 阅读 · 0 评论 -
Hadoop之HDFS文件读写过程
HDFS读过程HDFS API 读文件 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.open(file);...原创 2018-08-23 00:15:56 · 9651 阅读 · 0 评论 -
HDFS负载均衡
HDFS副本摆放策略第一副本:放置在上传文件的DataNode上;如果是集群外提交,则随机挑选一台磁盘不太慢、CPU不太忙的节点上;第二副本:放置在于第一个副本不同的机架的节点上;第三副本:与第二个副本相同机架的不同节点上;如果还有更多的副本:随机放在节点中; 需要注意的是:HDFS中存储的文件的副本数由上传文件时设置的副本数决定。无论以后怎么更改系统副本系数,这个文件...原创 2018-08-23 00:16:27 · 432 阅读 · 0 评论 -
HDFS块大小默认为什么是64MB(或者是128MB)
块的大小设置原则:最小化寻址开销。块越大寻址时间越短。如果块设置的足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间,因而,传输一个由多个块组成的文件的时间取决于磁盘的传输速率。但是这个数也不会设置的过大,mapreduce中的map任务通常一次只处理一个块中的数据,因此如果任务数太少(少于集群中节点的数量),运行速度会很慢主要由以下考虑: 减少硬盘寻道时间(dis...原创 2018-08-23 00:18:37 · 3394 阅读 · 0 评论 -
HDFS的SecondaryNameNode
HDFSHDFS 采用Master/Slave的架构来存储数据,该架构主要由四个部分组成HDFS Client NameNode DataNode SecondaryNameNodeHDFS体系结构HDFS体系结构HDFS Client文件切分,文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存储与 NameNode 交互,...原创 2018-08-24 10:04:38 · 2098 阅读 · 0 评论