谈谈Hadoop框架的底层存储组件HDFS

HDFS是Hadoop大数据处理中的底层存储组件,它通过命名空间组织数据,并使用block作为基本存储单位。主从结构的namenode和datanode分别负责元数据管理和数据存储。默认block大小为128MB,文件块会复制3份,存储策略确保了数据的可靠性和高效访问。副本分布策略包括在同一节点、不同机架和同一机架的多个节点上,以应对节点故障。机架感知需要手动配置,确保namenode了解节点归属。
摘要由CSDN通过智能技术生成
对于大数据来说,数据量是巨大的,多样性的,而且后期是要进行本地计算的,这样的话数据的存储要求是可靠的来保证数据的不丢失,HDFS就实现了这样的一个功能。

在处理大数据的过程中,一个数据文件会相应存储在hdfs上不同节点的不同文件中,把这些文件组织起来放到不同的文件夹中,这种组织方式叫做命名空间。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值