HDFS学习笔记

最新推荐文章于 2023-07-24 10:16:48 发布
最新推荐文章于 2023-07-24 10:16:48 发布
阅读量253 收藏 1
点赞数
文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43196861/article/details/121594197
版权

HDFS学习笔记

1、 hdfs blocksize

[外链图片转存失败,源站可能有防盗在这里插入!链机制,建描述]议将图片上https://(imblog.csdnimg.cn/46dd7ab6e53e4763879aJNhP8602238e5d.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LiA5p6a5omT5bel5LuU,size_20,color_FFFFFF,t_70,g_se,x_16)是https://img-blog.csdnimg.cn/46dd7ab6e53e4763879a378602238e5d.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LiA5p6a5omT5bel5LuU,size_20,color_FFFFFF,t_70,g_se,x_16)]

总结：
1、理论上磁盘性能越好，传输速率越高，blocksize大小可以越大
2、blocksize太小，寻址时间变长
3、blocksize太大，数据传输时间变长

2、副本节点选择

在这里插入图片描述
总结：考虑两点
1、效率
2、负载均衡

3、hdfs读过程（块读串行）

在这里插入图片描述

4、hdfs写过程

在这里插入图片描述

5、NameNode工作机制

在这里插入图片描述

6、DataNode工作机制

在这里插入图片描述

一枚打工仔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据技术之Hadoop（HDFS).docx
04-14
HDFS（Hadoop Distributed File System）学习笔记 HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，主要用于存储和管理大规模数据。HDFS是一个分布式文件系统，能够存储大量的数据，并...
spark学习笔记一
01-20
Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS，更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的优点： 1.中间结果的输出 （1）MapReduce的话计算结果会产生很多stage，...
HDFS为什么块大小不能太大也不能太小
祁东握力的博客
10-10 1979
一、HDFS 块设置的比较小会增加寻址时间，并且每个块在namenode都会存储一份元数据，增加namenode开销 一个大文件会被分为多个block存在hdfs中，而每个block对于磁盘来说就是一个文件。 该hdfs的大文件寻址时间是等于磁盘寻找每个block文件的总和。 而本地磁盘每寻找一个block文件都要寻址一次，每次寻址时间都差不多。所以block数量越多，寻址次数越多，则把该大...
HDFS块的讲解及优缺点
CyAurora的博客
07-17 2299
1. 传统型分布式⽂件系统的缺点 现在想象⼀下这种情况：有四个⽂件 0.5TB的file1，1.2TB的file2，50GB的file3， 100GB的file4；有7个服务器，每个服务器上有10个1TB的硬盘。 在存储⽅式上，我们可以将这四个⽂件存储在同⼀个服务器上（当然⼤于1TB的⽂件 需要切分），我们需要使⽤⼀个⽂件来记录这种存储的映射关系吧。⽤户是可以通过 这种映射关系来找到节点硬盘相应的⽂件的。那么缺点也就暴露了出来： 第⼀、负载不均衡。 ...
linux 学习笔记
杨树z的专栏
04-14 674
1、blocksize是否越大越好？ 不一定，一个block里只能存放一个文件，文件较大时占用多个block 2. raid-0 带区卷（磁盘分条） 奇偶数 加速 raid-1 镜像卷 两块磁盘 备份 raid-5 前两磁盘分条 后一块备份 3. window 0-3 留给主分区和扩展分区 扩展分区包括逻辑分区 Linux 1-4 主分区最多四个，达到四个后就没有扩展分
HDFS概述（背景、优缺点、架构、块大小）
Emeraki的博客
10-25 816
第一章 HDFS概述 （1）HDFS产生背景   随着数据量越来越大，在一个操作系统下存放不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是却不方便管理和维护。于是就迫切的需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS即hadoop distributed file system，是分布式文件管理系统中的一种。   HDFS是一个文件系统，用于存储文件，通过目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各司其职。   HDFS的使用场景：适
Hadoop:hdfs块大小
weixin_47781089的博客
03-10 860
块大小的确定 根据《hadoop权威指南》中介绍，块的大小主要是有目前的磁盘传输效率决定的，书中假设了若寻址时间为10ms，然而寻址时间为传输时间的十分之一为最佳，那么传输时间为1s，目前的传输速率大概就是100mb/s，所以块的大小为124mb，随着磁盘的传输效率越快，这个值也会增加。 块大小过小 1.增加硬盘的寻址时间，因为hdfs是应对大数据的，不适合存储小文件，小文件过多会增加硬盘的寻址时间 2.增加了namenode的内存消耗，数据块大小过小，数据块数据增加，那么需要维护的数据块信息就会增多，从而
hadoop学习笔记（hdfs，mapreduce，yarn）
05-18
压缩文件中包含了Hadoop生态系统、体系架构及特点，三大基本组件HDFS，MapReduce，YARN的学习笔记，文件为Markdown格式，进行了详细功能介绍说明，可以帮助大家学习hadoop的三大组件或者作为一份详细资料备份，帮助...
hadoop的hdfs笔记
01-01
hadoop的hdfs模块学习，所有的操作步骤都是验证过了，都是可执行的
sqoop官方文档学习笔记
04-25
Sqoop是一个用于在Hadoop和关系...您可以使用Sqoop将关系数据库管理系统（RDBMS）（如MySQL或Oracle或大型机）中的数据导入Hadoop分布式文件系统（HDFS），转换Hadoop MapReduce中的数据，然后将数据导出回RDBMS 。
Hadoop HDFS 概述 | 优缺点 | 组成架构 | 文件块大小
lesileqin的博客
04-05 682
文章目录一、HDFS概述1、HDFS产生背景2、HDFS定义二、HDFS优缺点1、优点2、缺点三、HDFS组成架构1、NameNode（nn）Master主管、管理者2、DataNode NameNode下命令，DataNode实际执行3、Client 客户端4、Secondary NameNode NameNode的秘书。NameNode挂掉，能替换NameNode并提供服务四、HDFS文件块大小 重点 一、HDFS概述 1、HDFS产生背景 随着数据量越来越大，一个操作系统放不下所有的数据，那么就分配
HDFS的文件块大小（重点）
最新发布
bankq的博客
07-24 1927
对于一般硬盘来说，传输速率为100M/s，一般设置块的大小128M，因为128是2的7次方，最接近于100M。比如，块的大小是1TB，传输这个1TB的数据会非常慢，并且程序处理这个1TB的数据时，也非常的慢。不是的，它只占用文件本身大小的空间，其它空间别的文件也可以用，所以这128M的含义是HDFS数据块的大小，和每个文件的大小没有关系。HDFS的块设置太小，会增加寻址时间。例如，块的大小是1KB，文件大小是100KB，这时候要分100个块来存储文件，读取文件时要找到100个块的地址，会大大增加寻址时间。
为什么HDFS文件块大小既不能设置太大也不能设置太小？（面试题）
lnqvq的博客
10-29 590
为什么HDFS文件块大小既不能设置太大也不能设置太小？
HDFS块大小设置
qq_45275284的博客
03-23 438
一、HDFS 块设置的比较小会增加寻址时间，并且每个块在namenode都会存储一份元数据，增加namenode开销。最佳传输损耗理论：在一次传输中，寻址时间占总传输时间的1%，本次传输的损耗最小，为最佳性价比传输。块在传输时，每64K还需要校验一次，因此块大小，必须为2的n次方，最接近100M的就是128M！如果公司使用的是固态硬盘，写的速度是300M/S，将块大小调整到 256M。如果公司使用的是固态硬盘，写的速度是500M/S，将块大小调整到 512M。
HDFS文件块的大小为什么不能设置太小、也不能设置太大？
m0_51697147的博客
11-25 171
把大的文件块切分成一个个小的文件块，有利于并发传输，所以传输速度快，文件块太大的话，不能并发传输，一个文件太大，所以传输速率很慢。（正常查找块的时间为传输块数据的1%） ...
Block块是不是设置的越大越好？Block块是不是设置的越小越好？
热门推荐
Shockang的博客
05-27 3万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 Block 块不能设置的过大 由于 HDFS 一个数据块 Block 用一个校验和校验，自然 Block 块设置的小点就可以及时的发现错误并恢复。 Block 块设置的过大的话，不利于数据分散到不同的数据节点上面，这样无法利用并行计算的优势。 Block 块也不能设置的过小 无论 Block 块
linux运维笔记：Linux文件属性-有关Block的知识小结
一个好知识的传播者
10-24 1258
1）Block块越大对于单个的小文件多（0.5K）的业务，会非常浪费空间，因为，一个文件无论多大都会必须占用至少一个inode和一个block，磁盘读取数据是按Block为单位读取的，但是对于大文件，可以提升读取的效率，因为如果block太小，就要读多个block，这样就消耗磁盘I/O，如果block大，则会读较少的Block就读完数据，从而减少磁盘I/O。6-根据业务需求，确定默认的block大小，如果是大文件（大于16K）一般设置block大一点，小文件（小于1K）一般设置block小一点。
oracle中最小的IO单元,DB_BLOCK_SIZE 越小越好吗？
weixin_39632693的博客
04-07 598
首先 取来曾经的一个帖子请问所有资料上都说db_block_size 要配置成操作系统块的整数倍能够提高 处理速度，可是都没有说明原因？那位老大能说明一下原因啊？:em14:ivhboracle可以用裸设备。但是用裸设备也要用操作系统自己的打开/读写设备的接口。在unix下，就是open/read/write。对于块设备，unix一般每次读写512字节，这就是unix上的块大小。简而言之，orac...
Block小结
weixin_30512043的博客
06-28 124
磁盘读取数据是按block为单位读取的。 一个文件可能占用多个block；但是每读取一个block就会消耗一次磁盘I/O。 如果要提升磁盘IO性能，那么就要尽可能一次性读取数据尽量的多读 一个block只能存放一个文件的内容，无论内容有多小；如果block默认是4K大小，那么存放一个1K的文件，剩余3K就不能存放别的文件，只能浪费了。 block并非越大越好，block太大对于存放小文...
【spark学习笔记】spark访问hdfs
03-16
Spark可以通过Hadoop API来访问HDFS。在Spark中，可以使用SparkContext对象来创建RDD并从HDFS中读取数据。例如，可以使用以下代码来创建一个RDD并从HDFS中读取数据： ``` from pyspark import SparkContext sc = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值