图文简述HDFS

本文简述了HDFS在大数据处理中的作用,对比传统存储的三大优势:数据高可靠性、快速访问和轻松管理。介绍了HDFS的架构,包括client、namenode和datanode的角色,并通过实例说明数据读写的流程。
摘要由CSDN通过智能技术生成

        谈到大数据,离不开google的三剑客:big table、mapreduce、gfs。作为该体系的开源版本,主要是hbase、mapreduce和hdfs。今天主要谈一谈大数据处理最基础的hdfs,hadoop data file system。hdfs主要用于对在低廉的pc服务器上实现高可靠的数据存储,满足大数据处理的底层数据存储需求。

       一、HDFS相比传统的本地磁盘的数据存储,主要有几大区别:

    1、数据高可靠:默认三副本存储,可灵活配置。当其中不同的服务器任意两块硬盘故障,均不会影响业务的使用。

    2、数据访问快:同时向多块数据盘进行数据的读写,加快速度。

    3、管理轻松:支持服务器的灵活增加、删除,并自动根据存储数据量进行存储量的均衡化部署。

        二、下面简要介绍hdfs的原理

    如图,hdfs分为client客户端、namenode数据管理端(master节点)、datanode数据存储端(slave节点)。client进行数据存储时,需调用hdfs的sdk的开发包。进行数据读取时,向namenode请求数据在datanode的访问路径,client收到访问路径后直接向datanode发起数据访问请求(hdfs中,默认每个数据块为64M,分别放在不同的datanode)。

    

</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值