HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

最新推荐文章于 2022-09-06 09:00:13 发布
最新推荐文章于 2022-09-06 09:00:13 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1394049664/article/details/82534498
版权

目录

1、namenode目录存储的元数据信息

2、datanode存储的数据块信息

3、上传一个大文件，大于128M，HDFS需要对文件进行分块存储

4、问题

HDFS2.7默认的块大小为128M，从下面的图中可以看出。

在根目录下上传四个文件，通过web页面可以查看到：http://192.168.254.101:50070/explorer.html#/

1、namenode目录存储的元数据信息

/export/data/hadoop/dfs/name

在这里可以看到fsimage镜像文件，以及编辑日志文件edits_*。

namenode下的/export/data/hadoop/dfs/data目录下没有存数据

 

 

2、datanode存储的数据块信息

/export/data/hadoop/dfs/data

 

 

同样，在datanode节点的/export/data/hadoop/dfs/name下也没有存元数据信息

 

3、上传一个大文件，大于128M，HDFS需要对文件进行分块存储

 

主要是datanode数据的分块处理如下图

每个数据块都有一个块id

4、问题

1）、不是每个块存三份吗？这里好像只有两份？另外一份存在哪里？

 

 

程序猿渣渣帅
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【HDFS】运维相关——如何在保证数据不丢失的情况下去掉datanode的某个数据目录？
Badme
05-16 840
【HDFS】运维相关——如何在保证数据不丢失的情况下去掉datanode的某个数据目录？
实验3 - HDFS的管理和使用
weixin_43657927的博客
01-09 2378
hadoop
Hadoop分布式文件系统HDFS原理以及操作(二)
zy10151的博客
04-21 399
实验案例：完全分布式环境-验证DataNode上存储的文件分块信息 1.将JDK包从本地文件系统上传至HDFS分布式文件系统 （1）查看本地文件下jdk文件大小189756259 （2）start-dfs.sh启动集群 （3） （4）查看是否上传成功，逻辑上是原文件大小，物理上已经分块 2.进入DataNode存放文件分块的的Block目录，观察目前HDFS集群中2个DataNode上的JDK文件分块信息 2号DataNode： 两块加起来大小为jdk总大小。。。。 ...
hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析
m0_67402970的博客
09-06 7569
b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下，问题解决。失败的原因是：我们在core-site.xml修改了tmp路径：【/home/hyxy/tmp/hadoop】，启动namenode服务的时候，系统找不到原来的路径：/${hadoop.tmp.dir}/dfs/name,注意：/tmp是临时存放文件的路径，但是有时候系统重启，或者数据量太大的时候，系统会。的目录，然后名称表被复制到所有的目录中，以实现冗余。
HDFS文件储存目录
weixin_63872288的博客
03-10 5699
HDFS上传文件命令:hadoop fs -put HDFS下载文件命令:hadoop fs -get HDFS储存文件目录实在:tmp/dfs/data/current/finalized/subdir0/subdir0/ #tmp是在配置hdfs-site.xml是所配置的文件夹 tmp/dfs/name/current/VERSION下存储DataNode的clusterID ...
Hadoop技术HDFS元数据共7页.pdf.zip
11-21
了解了HDFS的元数据基础后，我们来看“Hadoop技术HDFS元数据共7页.pdf.zip”这个文件，它很可能包含了对HDFS元数据更深入的探讨，包括元数据的管理、优化、备份恢复策略、故障检测与恢复等方面。这个文件可能详细...
hdfs-元数据测试
10-23
Secondary Namenode 在收到两份文件后开始做合并，生成新的元数据镜像文件，并将其传回给 Namenode。Namenode 在收到新的镜像文件之后，会删除旧的镜像文件和修改日志，从而完成合并操作。 测试结果表明，HDFS 的元...
11HDFS的读写流程&NameNode、DataNode工作机制——好程序
01-20
1. NameNode：作为HDFS的主节点，NameNode主要负责维护文件系统的元数据，包括文件和目录的名称空间、文件的Block到DataNode的映射关系。这些信息以两个关键文件形式存在：fsimage（文件系统元数据的静态快照）和...
docker-hdfs-datanode:用于运行 hdfs 数据节点的 Docker 容器
06-23
在 docker 容器中运行 hdfs 数据节点 暴露端口 TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs....
【大数据hadoop实验】本地数据集上传HDFS文件系统.pdf
最新发布
03-01
【大数据hadoop实验】本地数据集上传HDFS文件系统.pdf
Hadoop--HDFS数据存放路径
zy_remarkable的博客
08-05 1万+
1.{hadoop.tmp.dir}:/tmp/hadoop-${user.name} 修改路径到当前用户目录下：   【/home/hyxy/tmp/hadoop】  注意：理解格式化的含义{创建/home/hyxy/tmp/hadoop/dfs/name/current/fsimage和edit文件,针对namenode守护进程} 开启namenode守护进程失败： a.重新格式化，...
学习C/C++ 一
我和你的博客
11-08 158
C++不懂知识点理解 以书本讲解为准,自己理解不一定对 知识点一 # //空指令,无任何效果 #include //包含一个源代码文件 #define //定义宏 #undef //取消已定义的宏 #if //如果给定条件为真,则编译下面代码 #ifdef //如果宏已经定义,则编译下面代码 #ifndef //如果宏没有定义,则编译下面代码 #elif //如果前面的#if给定条件不为真,当前条件为真, 则编译下面代码 #endif
Hadoop中HDFS的文件到底存储在集群节点本地文件系统哪里
热门推荐
weixin_43114954的博客
04-10 1万+
Hadoop中HDFS存储的文件到底存储在哪里1.前言HDFS存储机制ClientNameNode 与 DataNode2. Hdfs存储具体对应的计算机存储位置实践举例上传大文件到datanode 上寻找真正的文件 1.前言 对于刚刚接触学习Hadoop的同学来说，我们经常会用到以下命令： cd /usr/local/hadoop/ ./bin/hdfs dfs -put example.file 这个put命令的作用是把本地的 example.file文件上传到HDFS分布式文件系统当中。那么有
Hadoop：HDFS总结
qq_45749457的博客
02-20 3434
Hadoop：HDFS总结 HDFS架构 NameNode(nn): 管理文件的元数据，如文件名、文件目录结构、文件属性等信息 【NN运行时，元数据是存储在内存中，从而保证响应时间】 元数据只保留在内存中是非常不可靠的，所以也需要持久化到磁盘。NN内部有两类文件用于持久化元数据： fsimage文件，以fsimage_为前缀，是序列化存储的元数据的整体快照； edits文件(又称edit log)，以edits_为前缀，是顺序存储的元数据的增量修改(即客户端写入操作)日志。 DataNode(dn)
HDFS中的数据存储路径——StorageDirectory
xhh198781的专栏
12-31 1万+
在HDFS中，无论是NameNode节点还是DataNode节点都需要使用它们所在的本地文件系统来存储与自己相关的数据，如：NameNode节点存储系统命名空间的元数据，DataNode节点存储文件的数据块数据。对于NameNode节点或是DataNode节点，我们多可以为它们配置多个本地文件系统的存储路径，不同的是，NameNode节点中的所有存储路径存储的数据基本上是一样的，而DataNode
HDFS磁盘调度策略
iteye_15948的博客
03-29 286
callstack:   FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->RoundRobinVolumeChoosingPolicy.chooseVolumn(List,long)   OR   FsVolumeList.getNext...
Hadoop集群安装配置
v15220的博客
06-03 830
4．启动集群 1）初始化namenode（注意：只有第一次的时候才需要）: hdfs namenode -format 如果集群是第一次启动，需要在namenode 节点格式化 NameNode（注意：多次初始化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的hadoop安装目录
Missing required prop: “value“解决办法
userlvlu的博客
11-28 6596
hadoop hdfs 添加数据目录出错
duncan
11-18 392
由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h...
hdfs datanode 减少数据存储目录
01-13
HDFS（分布式文件系统）中的Datanode是存储Hadoop集群数据的节点。减少数据存储目录意味着减少Datanode上的数据存储容量。 Datanode上的数据存储目录减少有以下几种情况和原因： 1. 容量不足：Datanode上的硬盘容量有限，当数据存储目录的容量不足时，需要减少数据来释放空间以存储新的数据。 2. 数据冗余：HDFS会为数据提供冗余存储，以保证数据的可靠性。当数据的冗余副本在多个Datanode上存储时，可以通过减少冗余副本的数量来减少数据存储目录。 3. 删除过期数据：当数据已经过期或不再需要时，可以删除这些数据，从而减少数据存储目录。 4. 数据移动：在HDFS中，可以通过数据块的移动来实现数据的负载均衡。当某些Datanode上的数据存储目录较满，而其他Datanode上的数据存储目录较空时，可以将数据块从满的目录移动到空的目录，以减少存储目录的负载。 通过以上方式减少数据存储目录可以提高存储资源的利用率，并确保Hadoop集群的数据保持可靠和高性能的存储。但是在执行这些操作时需要谨慎，确保不会丢失重要数据，并及时备份数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值