五 HDFS概述

最新推荐文章于 2024-04-29 15:49:48 发布
最新推荐文章于 2024-04-29 15:49:48 发布
阅读量128 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andyonlines/article/details/104425360
版权
本文介绍了HDFS（Hadoop Distributed File System）的产出背景和定义，特别强调了HDFS中每个文件作为独立块存储时，其元数据管理的特点。以150字节的元数据为例，计算得出在默认配置下，NameNode能够存储大约9亿多个块的元数据，揭示了HDFS在大数据存储中的能力。
摘要由CSDN通过智能技术生成

1 HDFS产出背景及定义

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一个块的元数据是150字节,也就是说无论一个文件多小,都是作为一个独立块,那么存储这个文件所用的元数据是150个字节,占用namenode的内存也是150个字节.默认namenode的内存是128G,那么namenode可以存储多少个块呢.

128G/150字节 = 128 * 1024 * 1024 * 1024 / 150 = 916,259,689(9亿多)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
andyonlines
关注
专栏目录
HDFS为什么不适合存储小文件？
Wx_wxr的博客
03-26 6385
不能高效的对大量的小数据进行存储（大量的小文件会很快沾满nameNode的内存空间）大量的小文件，也会影响NameNode的寻址时间 1、小文件过多，会过多占用namenode的内存，并浪费block。 - 文件的元数据（包括文件被分成了哪些blocks，每个block存储在哪些服务器的哪个block块上），都是存储在namenode上的。 HDFS的每个文件、目录、数据块占用150B，因此300...
Hadoop之HDFS
qq_33890533的博客
06-06 417
HDFS简介 Hadoop的核心组件：HDFS 目前得到广泛应用的分布式文件系统主要包括GFS和HDFS等，Hadoop就是使用的HDFS，它是Google GFS的开源实现 HDFS的优点有 存储超大文件，文件大小通常都是上百MB、TB、PB级别。 标准流式访问，基于“一次写入，多次读取”的构建思路，即只支持文件的追加写，不支持随机访问，这是最高效的访问模式。流式方式就是按照顺序来，一条线，找...
HDFS小文件问题及解决方案
热门推荐
千里之行,始于足下
05-21 1万+
1、  概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间（见参考资料[1][4][5]）。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。
关于HDFS一些总结
weixin_44319151的博客
11-05 297
今天说的是关于1.HDFS的特性 2.HDFS的缺点 3.HDFS的高级命令 4.HDFS安全模式 5.HDFS的配置选项　６.secondartnameNode的工作原理（意义） 步入正题： 1.HDFS的特性 1.存储海量数据：HDFS可横向扩展，其储存的文件可以支持PB级数据 2.高容错性：数据保存多个副本，副本丢失后自动恢复。可构建廉价（与小型机大型机对比）的机器上，实现线性扩展。（...
03_HDFS概述二
TU_JCN的博客
10-21 403
目录 ​ 一、HDFS读写流程（重点 ） 1.1 、读流程 1.2 、读流程 二、Hadoop HA 高可用 2.1、需求（对NN和SN的优化） 2.1 HDFS高可用原理 三、Hadoop联邦 3.1、需求（对HDFS HA 的优化） 3.2、联邦原理 四、文件压缩 4.1 压缩算法 4.2、编程实践 五、小文件治理 5.1 、HDFS不适合存储小文件的原...
HDFS概述
早拾碗吧的博客
04-29 478
HDFS是Hadoop Distributed File System的首字母组合，即Hadoop的分布式文件系统。在大数据时代,需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力,因此需要将数据集进行分区并存储到若干台独立的计算机中。但是,分区存储的数据不方便管理和维护,迫切需要一种文件系统来管理多台机器上的文件,这就是分布式文件系统。分布式文件系统是一种允许文件通过网络在多台主机上进行分享的文件系统,可让多台机器上的多用户分享文件和存储空间。
hdfs概述
weixin_50691399的博客
12-12 1435
本文主要是hadoop集群的组件之一hdfs概念以及架构，日志合并策略
【Hadoop】HDFS概述
LS154952447的博客
10-04 652
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。HDFS（Hadoop Distributed File System），它是一个分布式文件系统，用于存储文件，通过目录树来定位文件；由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；适合一次写入，多次读出的场景。
Hadoop HDFS概述
懒猫的脚印
04-26 1656
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。
【1】HDFS概述
01-20
【1】HDFS概述 HDFS，全称Hadoop Distributed File System，是为解决大数据存储问题而诞生的分布式文件系统。随着互联网的发展，数据量呈现爆炸性增长，单个操作系统无法容纳并有效管理如此庞大的数据。因此，人们...
7_尚硅谷大数据之HDFS概述1
08-04
HDFS 概述及架构 HDFS（Hadoop Distributed File System）是一种分布式文件管理系统，用于存储和管理大规模数据。HDFS 的产生背景是随着数据量的增加，单个操作系统无法存储和管理所有数据，需要分布式文件管理系统...
第一章 HDFS概述.pptx
08-10
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是...HDFS只是分布式文件管理系统中的一种。
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
andy的博客
02-03 3288
当使用idea 运行hadoop client操作hdfs是出现以下错误 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.C
hdfs HA 出现Cannot find any valid remote NN to service request
andy的博客
03-13 2239
文章目录 所有的nameNode 都是standby状态,查看出现 Cannot find any valid remote NN to service request 解决办法: 停掉hadoop的服务 在所有的nameNode上执行 hdfs zkfc -formatZK
hadoop 3.2.1集群和2.7 版本部署的区别
andy的博客
03-21 1715
namenode默认端口号从50070变为9870 群起集群的配置文件从slaves变为workers.
三 Hadoop运行模式之本地运行模式和伪分布式模式
andy的博客
02-19 376
Hadoop运行模式包括： (1) 本地模式(开发不会用) (2) 伪分布式模式(开发不会用) (3) 完全分布式模式(重要开发一定是用这种模式) 虽然本地模式和伪分布式模式开发不会用,但为了感受一下Hadoop的魅力,还是简单介绍一下. 1 本地运行模式 如果成功安装了Hadoop 和配置java和Hadoop的环境变量,就不用再作配置了.直接可以用了. 1.1 官方Grep案例 Grep 和l...
二十二 Zookeeper
andy的博客
03-04 296
文章目录1 Zookeeper概述1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5 下载地址2 Zookeeper安装3 Zookeeper单点模式的使用3.1 服务端的启动3.2 配置文件的配置参数的解读 1 Zookeeper概述 1.1 概述 分布式系统：分布式系统指由很多台计算机组成的一个整体！这个整体一致对外，并且处理同一请求！系统对内透明，对外不透明！内部的每台计算机，都...
十三 MapReduce之InputFormat
andy的博客
02-26 275
文章目录1 MapReduce的数据流2 切片与MapTask并行度决定机制3 FileInputFormat 切片大体步骤4 FileInputFormat切片机制5 FileInputFormat实现类5.1 TextInputFormat实现类5.2 KeyValueFormat实现类5.3 NLineInputFormat 实现类5.4 CombineTextInputFormat 实现类...
十五 Shuffle机制之parttition分区
andy的博客
03-02 261
文章目录1 Shuffle过程 1 Shuffle过程 Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle. 整体过程就不作介绍.可以看一下MapReduce工作流程 https://blog.csdn.net/andyonlines/article/details/104529634 里面的 7) - 13) 就是Shuffle过程的介绍. ...
详细阐述“HDFS架构： 一、HDFS概述 二、HDFS存储体系结构 三、HDFS文件写流程”
最新发布
09-10
HDFS，全称为Hadoop Distributed File System，是一个分布式文件系统，特别适用于大规模数据处理。以下是关于HDFS架构的详细介绍： **一、HDFS概述** HDFS的设计目标是提供高吞吐量的数据访问，适合于大量的批处理任务，而不是实时交互。它采用了主从（Master-Slave）架构，由NameNode作为全局命名空间管理者和DataNodes作为大量数据块的存储节点。 **二、HDFS存储体系结构** 1. **NameNode**: 主要负责元数据管理，如文件系统的目录树结构、文件属性和块到DataNode映射等信息。它是一台中心化的服务器，对整个集群进行全局状态维护。 2. **DataNodes**: 存储实际的数据块。每个DataNode都有自己的内存缓存，并通过心跳报文向NameNode报告存活状态和块的位置信息。 **三、HDFS文件写流程** 1. **客户端发起写操作**: 客户端首先创建一个新的文件，这会生成一个元数据块并记录在NameNode中。 2. **分块与复制**: 文件被切分成多个固定大小的数据块（默认64MB），然后客户端随机选择若干个DataNodes将这些块存储起来。通常会选择三个副本，保证冗余和容错性。 3. **数据写入**: 数据块被逐个写入DataNodes，客户端并不直接控制具体的DataNode，而是通过NameNode获取写入地址。 4. **确认写入**: DataNodes完成写入后，会更新自身的块列表并将此消息发送给NameNode，NameNode确认所有副本都已写入后，返回成功信号给客户端。 5. **最终持久化**: NameNode定期同步各个DataNode的块位置信息，当大部分副本存活时，这个文件被认为持久化了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值