HDFS面试题

VIP文章 已于 2023-01-30 15:03:03 修改
阅读量2.5k 收藏 23
点赞数 8
分类专栏： 面试 Hadoop 文章标签： hdfs hadoop 大数据 面试
于 2022-10-11 00:31:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42322454/article/details/127254956
版权

HDFS

一、HDFS的构成

元数据：目录结构和块的位置信息
元数据存放在内存中，默认情况下，每个文件的元数据大概有150B字节

  • NameNode：负责管理元数据
  • DataNode：负责存储实际数据
  • SecondaryNameNode：辅助NameNode对元数据的管理

1、NameNode概述（了解）

  • 是HDFS的核心，也被称为Master
  • 仅存储HDFS的元数据：目录结构和文件的块列表及其位置信息
  • 不存储实际数据或数据集。数据本身实际存储在DataNodes中
  • 知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件
  • 并不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息会在系统启动时从数据节点重建
  • 对于HDFS至关重要，当NameNode关闭时，HDFS / Hadoop集群无法访问
  • 是Hadoop集群中的单点故障
  • 所在机器通常会配置有大量内存（RAM）

2、DataNode概述（了解）

  • 负责将实际数据存储在HDFS中，也被称为Slave
  • 启动时，它将自己发布到NameNode并汇报自己负责持有的块列表
  • 因为实际数据存储在DataNode中，所以其机器通常配置有大量的硬盘空间
  • 会定期（dfs.heartbeat.interval配置项配置，默认是3秒）向NameNode发送心跳，如果NameNode长时间没有接受到DataNode发送的心跳， NameNode就会认为该DataNode失效（10分钟 + 30s）
  • block（块）汇报时间间隔取参数dfs.blockreport.intervalMsec，参数未配置的话默认为6小时

3、

最低0.47元/天 解锁文章
Kazi_1024
关注
  • 8
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据面试题（一）：HDFS核心高频面试题
Lansonli（蓝深李）的博客
11-02 1794
HA(High Available)， 高可用，是保证业务连续性的有效解决方案,一般有两个或两个以上的节点，分为 活动节点 （ Active ）及 备用节点 （ Standby） ）。用于实现业务的不中断或短暂中断NN 是 HDFS 集群的单点故障点.在 HA 具体实现方法不同情况下，HA 框架的流程是一致的, 不一致的就是如何存储、管理、同步 edits 编辑日志文件。
hdfs常见面试题及答案
10-15
一些简单的大数据面试题，如有更新后期会实时更新，有需要的赶紧下载
Hadoop面试题---hdfs的读写流程
qq_39872456的博客
02-11 1047
一、Hdfs的写流程 总体流程： 1、客户端通过Distributed FileSystem 模块的create()方法向NameNode请求上传文件，并告诉namenode上传文件的文件名、文件大小、文件拥有者，NameNode检查目标文件是否已存在，父目录是否存在； 2、NameNode 返回是否可以上传； 3、客户端请求我的第一个 Block 上传到哪几个 DataNode 服务器上； 4、NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3（每个文件块默认存储在三
HDFS常见面试题
qq_43668173的博客
08-05 728
1.介绍parition和block有什么关联关系？ 答： 1）hdfs中的block是分布式存储的最小单元，等分，可设置冗余，这样设计有一部分磁盘空 间的浪费，但是整齐的block大小，便于快速找到、读取对应的内容； 2）Spark中的partion是弹 性分布式数据集RDD的最小单元，RDD是由分布在各个节点上的partion组成的。partion是指的 spark在计算过程中，生成的数据在计算空间内最小单元，同一份数据（RDD） 的partion大小不 一，数量不定，是根据application里
6道常见hadoop面试题及答案解析
2301_78008478的博客
06-08 1152
Hadoop生态系统，拥有15多种框架和工具，如Sqoop，Flume，Kafka，Pig，Hive，Spark，Impala等，以便将数据摄入HDFS，在HDFS中转移数据（即变换，丰富，聚合等），并查询来自HDFS的数据用于商业智能和分析。具有数据的元数据，但也允许指定用于读取文件的独立模式。基于Hadoop的更智能的数据基础设施，其中结构化（例如RDBMS），非结构化（例如images，PDF，docs）和半结构化（例如logs，XMLs）的数据可以以可扩展和容错的方式存储在较便宜的商品机器中。
HDFS面试题汇总大全
hongmofang10的博客
03-12 881
1 HDFS 1.0 架构 NameNode NameNode 负责管理整个分布式系统的元数据，主要包括： 目录树结构； 文件到数据库 Block 的映射关系； Block 副本及其存储位置等管理数据； DataNode 的状态监控，两者通过段时间间隔的心跳来传递管理信息和数据信息，通过这种方式的信息传递，NameNode 可以获知每个 DataNode 保存的 Block 信息、DataNode 的健康状况、命令 DataNode 启动停止等（如果发现某个 DataNode 节点故障，NameNode
hadoop面试题（一）
luo981695830的博客
06-24 730
hadoop面试题
2023大数据面试题+附答案
大数据-攻城狮
04-26 7009
2023大数据面试题+附答案。
HDFS相关面试题
weixin_44844089的博客
05-18 2126
1. hdfs概述 hdfs（Hadoop Distribute File System）是分布式文件系统。 分布式文件系统 distributed file system 是指文件系统管理的物理存储资源不一定直接链接在本地节点上，而是通过计算机网络与节点相连，可让多机器上的多用户分享文件和存储空间。 说简单点就是将一个大文件分布式存储在不同的机器节点上 2.hdfs架构 HDFS具有主/从架构。HDFS集群由单个NameNode多个datanode构成。 1）Namenode是负责管理分布式文件系统的命名
【HDFS面试】HDFS面试题&答案
话数Science
12-17 597
HDFS面试题&答案： HDFS文件写入和读取流程 HDFS组成架构 介绍下HDFS，说下HDFS优缺点，以及使用场景 HDFS作用 HDFS的容错机制 HDFS的存储机制 HDFS的副本机制 HDFS的常见数据格式，列式存储格式和行存储格式异同点，列式存储优点有哪些? HDFS如何保证数据不丢失? HDFS NameNode高可用如何实现?需要哪些角色? HDFS的文件结构? HDFS的默认副本数?为什么是这个数量?如果想修改副本数怎么修改? 介绍下HDFS的Block HDFS的块默认大小，64M和1
Hadoop面试题总结（二）——HDFS
01-07
1、 HDFS 中的 block 默认保存几份？   默认保存3份 2、HDFS 默认 BlockSize 是多大？   默认64MB 3、负责HDFS数据存储的是哪一部分？   DataNode负责数据存储 4、SecondaryNameNode的目的是什么？   他的目的使帮助NameNode合并编辑日志，减少NameNode 启动时间 5、文件大小设置，增大有什么影响？   HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。   思考：为什么块的大小不能设置的太
大数据面试复习（一）之HDFS概况
01-07
HDFS特点概况 HDFS核心组件的职责 HDFS数据流程 HDFS写数据流程 HDFS读数据流程 HDFS高可用 HDFS小文件问题 HDFS特点概况 特点： 廉价 流数据读取（流数据是一组顺序、大量、快速、连续到达的数据序列） 大数据集 ...
Hadoop面试题
10-22
Hadoop常见习题汇编，最新2018年版，仅供大家学习和交流使用，不得作为其他用途。
hadoop面试题.chm
11-26
这是一套hadoop的面试题资源一个文件100M，上传到HDFS占用几个快？一个块128M，剩余的28M怎么办？ 事实上，128只是个数字，数据超过128M，便进行切分， 如果没有超过128M，就不用切分，有多少算多少， ...
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2773
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
hadoop学习---sqoop学习记录
weixin_46164667的博客
05-02 370
譬如ID的范围是0-800,那么Sqoop默认运行4个进程,通过执行ISELECTMIN(id)，MAX(id) FROM emp找出id的范围,然后把4个任务的id设置范围是(0-200),(200-400)(400-600).(600-800)但请注意，这样做的前提是这些文件的结构和内容必须是一致的，即它们应该都是同一份数据的切片或者是完全相同结构的数据。6. 带有主键约束的mysql表，要注意导出的数据的主键约束的情况，不能重复。4. 导出时，mysql的表的字段数与hdfs上的列数可以不相同。
WPF基础应用
最新发布
泰勒今天想展开的博客
05-02 533
Grid: Grid是最常用的布局容器之一，它允许你通过定义行和列以及对元素进行定位来进行布局。在Grid中，可以设置元素的边距来控制其与其他元素的距离。StackPanel: StackPanel按照单一方向（垂直或水平）堆叠其子元素。子元素的宽度或高度将取决于其内容，这使得它非常适合用来创建简单的列表或工具栏等。WrapPanel: WrapPanel允许子元素根据可用空间自动换行。当父容器的宽度被占满时，WrapPanel会自动将后续的元素放置到新的一行。DockPanel。
22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群
花&败
04-29 1061
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。
WPF之可翻转面板
lingxiao16888的博客
05-02 144
【代码】WPF之可翻转面板。
hbase 面试题
09-21
引用: Hbase是一个分布式的...关于HBase的面试题，这里提供几个例子： 1. HBase的特点有哪些？ 2. HBase的存储结构是怎样的？ 3. HBase的数据导入方式有哪些？ 4. HBase和Hive的区别是什么？ 5. HBase如何实现高可用？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值