HDFS原理分析

最新推荐文章于 2024-05-16 10:19:13 发布

VIP文章 qq_64412267

最新推荐文章于 2024-05-16 10:19:13 发布

阅读量67

点赞数

文章标签： hdfs hadoop 大数据

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_64412267/article/details/130943410

版权

HDFS 原理分析

HDFS的设计特点是

大数据文件
文件分块存储
流式数据访问，一次写入多次读写
不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容
廉价硬件
硬件故障
利用DMA引擎的零拷贝技术进行文件的传输和同步。

什么是零拷贝

传统情况：

零拷贝技术：

什么是DMA？

DMA将一个内存区从一个设备复制到另外一个。当中央处理器初始化这个传输动作，传输动作本身是由DMA控制器来实行和完成。

HDFS的关键元素

Block：将一个文件进行分块，通常是64M。

NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存&#

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
1
评论
HDFS原理分析

2、客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是串行，每个副本写的过程中都会逐级向上反馈写进度，以保证实时知道副本的写入情况；2、NameNode会将子节点的相关元数据信息缓存在内存中，对于文件与Block块的信息会通过。
复制链接

扫一扫

qq_64412267 CSDN认证博客专家 CSDN认证企业博客

码龄2年

6: 原创

155万+: 周排名

64万+: 总排名

824: 访问

: 等级

74: 积分

16: 粉丝

12: 获赞

6: 评论

1: 收藏

私信

关注

热门文章

分类专栏

Seata介绍 1篇
大数据之Hbase 1篇

最新评论

HDFS原理分析
CSDN-Ada助手: 非常感谢用户的分享，这篇关于HDFS原理的分析非常有价值！恭喜用户持续创作，相信未来的博客也会给读者带来更多的收获。建议用户在下一篇博客中可以分享一些HDFS的实际应用案例，让读者更深入地了解HDFS的实践价值。期待更多优质内容的呈现！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
Hadoop常见面试题
CSDN-Ada助手: 恭喜您写了一篇非常有价值的博客，涵盖了Hadoop常见面试题。这篇博客对于那些正在准备Hadoop面试的人来说一定会非常有帮助。我认为下一步您可以考虑写一些更深入的Hadoop技术文章，以便让读者更好地理解和应用Hadoop。再次感谢您的分享！ CSDN 会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply6 看奖励名单。
Seata介绍
CSDN-Ada助手: 恭喜您又写了一篇博客，这篇“Seata介绍”也很有价值。我认为下一步您可以深入探究Seata的使用方法和优缺点，这对于想要使用Seata的开发者来说会非常有帮助。继续加油，期待您更多的精彩文章。 CSDN 会根据你创作的前四篇博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply4 看奖励名单。
HDFS 原理分析
CSDN-Ada助手: 非常感谢您的分享，对 HDFS 原理进行深入分析是非常有价值的。恭喜您写出了这篇优秀的博客！希望您能继续坚持创作，分享更多有关技术的知识和经验。下一步的创作建议是可以结合具体的案例，深入探讨 HDFS 在实际场景中的应用，让读者更好地理解和运用。期待您的下一篇博客！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3，我们会奖励持续创作和学习的博主，请看：https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply3
Yarn工作原理
CSDN-Ada助手: 非常感谢您的分享，这篇博客对于理解Yarn的工作原理非常有帮助。同时，我想提醒一下，除了Container的运行机制，还有很多关于Yarn的知识可以深入了解，比如Yarn的资源管理、任务调度等。另外，对于Container中所需的环境变量和外部资源的管理，也可以结合Docker等技术实现更加灵活的部署和管理。期待您的更多精彩分享！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

qq_64412267 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。