Hadoop day2-01HDFS文件系统和原理

原创 2018年04月15日 16:02:39

HDFS原理:

client相当于送货员,NameNode相当于仓库管理员,DataNode相当于各个仓库。

client带来货物或者带走货物时,向NameNode询问可以使用的仓库DataNode,确定好DataNode 后,按块申请(Hadoop1.0时,每块block是64M,Hadoop2.0是默认128M),之后将数据依次按块写入到所申请的块,每写完一块就再申请一块(防止一次申请很多,但是出现错误后还要重新申请)。写入完成后,DataNode会根据设定备份N份。


通透性:用户不需要知道底层原理,就像是访问本地磁盘。

容错性:即使有些节点脱机,仍不影响数据的完整性。

不支持并发,不适合小文件。(因为即使小文件,NameNode仍要保存大量的元数据,大大增大了NameNode的开销)












Hadoop分布式文件系统HDFS的工作原理详述

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应...
  • zhouzxi
  • zhouzxi
  • 2015-07-16 08:48:21
  • 7054

Hadoop 1.x HDFS理论和底层原理

本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/Hadoop 1.x HDFS理论和底层原理/ 1、 NameNod...
  • u014394255
  • u014394255
  • 2016-12-03 23:59:38
  • 541

hadoop的文件系统

hadoop抽象了文件系统,它可以整合很多的文件系统。 FileSystem就是hadoop文件系统的抽象类。里面包含了对文件系统进行可操作的接口,比如创建目录,创建文件,读取文件,删除文件。。。 下...
  • zqcj6291151
  • zqcj6291151
  • 2016-01-11 09:13:00
  • 290

深入理解HDFS:Hadoop分布式文件系统

文本详细介绍了HDFS中的许多概念,对于理解Hadoop分布式文件系统很有帮助。1. 介绍在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件...
  • bingduanlbd
  • bingduanlbd
  • 2016-07-15 22:33:44
  • 17100

Hadoop技术内幕-Hadoop文件系统

第5章 Hadoop 文件系统 1.文件及文件系统 文件的本质是存储在设备上的线性字节流 文件系统用于文件的管理包括文件的结构以及命名、存取、使用、保护和实现 文件系统支持的系统调用: 1)...
  • MrGeroge
  • MrGeroge
  • 2017-03-28 18:50:54
  • 434

Hadoop FileSystem文件系统的概要学习

在学习Hadoop FileSystem模块之前,最好的建议就是先去学习一下Linux本地文件系统的设计实现,这将会大大的帮助你了解Hadoop FileSystem,至少很多思想都是共通的。其实老实...
  • Androidlushangderen
  • Androidlushangderen
  • 2014-12-11 10:01:23
  • 3229

分布式文件系统之NFS AFS

AFS NFS文件系统介绍
  • gigglesun
  • gigglesun
  • 2013-08-04 00:09:49
  • 4417

不仅是HDFS,Hadoop支持多种文件系统

 org.apache.hadoop.fs.FileSystem  这个抽象类代表hadoop的一个文件系统,目前系统已经有很多个具体实现:  文件系统                 URI前缀  ...
  • fiberlijun
  • fiberlijun
  • 2009-11-13 11:15:00
  • 7718

Hadoop文件系统的接口(二)

HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写...
  • scut1135
  • scut1135
  • 2014-01-19 00:04:41
  • 3850

Hadoop支持的多种文件系统URI格式

org.apache.hadoop.fs.FileSystem这个抽象类代表hadoop的一个文件系统,目前系统已经有很多个具体实现:文件系统 URI前缀 ...
  • qq_33813365
  • qq_33813365
  • 2017-09-26 10:16:23
  • 188
收藏助手
不良信息举报
您举报文章:Hadoop day2-01HDFS文件系统和原理
举报原因:
原因补充:

(最多只允许输入30个字)