大数据学习笔记 第三章 分布式文件系统 HDFS

最新推荐文章于 2022-05-18 17:14:17 发布
最新推荐文章于 2022-05-18 17:14:17 发布
阅读量286 收藏 1
点赞数
文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42280561/article/details/104959208
版权
本文介绍了Hadoop的分布式文件系统HDFS，包括其设计目标、局限性、核心概念如块、名称节点与数据节点，以及HDFS的体系架构、存储原理和数据读写过程。此外，还探讨了HDFS的编程实践和使用Java API进行交互的方法。
摘要由CSDN通过智能技术生成

分布式文件系统HDFS 简介

HDFS实现目标：
①兼容廉价的硬件设备
②实现流数据的读写
③支持大数据集
④支持简单的文件模型
⑤强大的跨平台兼容性

HDFS自身的局限性
① 不适合低延迟数据访问
②无法高效存储大量小文件
③不支持多用户写入及任意修改文件

HDFS相关概念

1.块
整个HDFS中最核心的概念

为了分摊磁盘读写开销
HDFS的一个块要比普通文件大

缺点：如果块过大，会导致MapReduce 就一两个任务在执行完全牺牲了MapReduce的并行度，发挥不了分布式并行处理的效果。

好处：①支持大规模文件存储②简化系统设计③适合数据备份

2.名称节点与数据节点

名称节点（主节点）
相当于整个HDFS的管家，数据目录

数据目录：①文件是什么②文件被分成多少块③每个块和文件是怎么映射的④每个块被存储在哪个服务器上面

内容：
①FsImage 保存系统文件树
文件的复制等级、修改和访问时间、访问权限、块大小以及组成文件的块
②EditLog 记录对数据进行的创建删除重命名操作
NameNode 的工作原理
第二名称节点：
① 名称节点的冷备份 ② 对Editlog的处理

数

最低0.47元/天 解锁文章
数据汪东哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【林子雨大数据】HDFS学习笔记
GreyPei的博客
09-12 3431
*解决海量式的分布式存储 一、分布式文件系统 1，计算机集群结构 【交换机】：光纤交换机 2.分布式文件系统的结构 主节点：名称节点 从节点：数据节点 二、HDFS 目标： 兼容廉价的硬件设备 流数据读写 大数据集 简单的文件模型 强大的跨平台兼容性 局限性： 不适合低延迟数据访问（实时处理需求） 无法高效存储大量小文件 不支持多用户写入及任意修改文件【为了...
Hadoop专栏（一）———分布式文件系统HDFS
斯特凡今天也很帅的博客
11-09 226
分布式文件系统HDFS简介 两大核心技术： 分布式存储 分布式处理 文件系统结构 HDFS自身的局限性 1：不适合低延迟数据访问 2.无法搞笑存储大量小文件 3.不支持多用户写入及任意修改文件 HDFS实现目标 HDFS相关概念 HDFS采用这种抽象的块的概念设计好处 元数据 为什么要这样设计 名称节点 FsImage HDFS存储原理 由于采用的是低廉成本机器进行存储，所以会不断的出故障。 基于这种情况，就必须要冗余数据，保存 冗余存储这种设计的好处： 01.加快数据传输速度 02.很
HDFS的特点和目标
JimmyLincole的专栏
11-03 4051
HDFS特点与目标，原文出处 Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放
Hadoop基本组件和HDFS的目标
cjjtree123的博客
05-18 1267
3.3 Hadoop基本组件 Hadoop实际是由三个不同的组件构成： ● HDFS:Hadoop分布式文件系统。 ● YARN：一个资源调度框架。 ● MapReduce：一个分布式处理框架。 1. HDFS的目标 ● 硬件容错。 检测硬件错误并从有问题的硬件快速自动恢复，就成为HDFS架构的核心目标。 ● 流式数据访问。 流式访问就是对数据边读取边处理，而不是将整个数据集读取完成后再开始处理。 ● 支持大数据集。 HDFS中一个典型文件的大小是几GB到几TB。HDFS需要支持大文件，它应该提供很大的数
3-3.HDFS项目实战目标和要求
MOL
07-16 7748
大数据平台，hadoop集群学习笔记
02-25
第三章深入讲解了MapReduce的原理。MapReduce的工作流程分为两个主要阶段：Map阶段和Reduce阶段。在Map阶段，原始数据被分割成多个键值对，然后由多个工作节点并行处理。Reduce阶段则对Map阶段的结果进行聚合，...
Talend学习笔记2——mysql文件导入到HDFS
06-01
### Talend学习笔记2——mysql文件导入到HDFS #### 关键知识点概览 - **Talend Data Integration** - **MySQL 数据库** - **Hadoop 和 HDFS（Hadoop Distributed File System）** #### 详细知识点说明 ##### 1. ...
大数据学习笔记
10-31
### 大数据学习笔记知识点概览 #### 第一部分：Spark学习 ##### 第1章：Spark介绍 - **1.1 Spark简介与发展** - **背景**：随着大数据处理需求的增长，传统的Hadoop MapReduce框架虽然提供了强大的计算能力，但...
大数据学习笔记.pdf
11-03
第3章 Spark安装 ................................................................................................................. 11 第4章 Spark CORE编程 .................................................
HDFS的实现思想和概念
pfnie的博客
05-05 762
1. 分布式存储 为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记录就存储在很多台服务器的很多硬盘中。那么，要处理这么多数据，必须从一台一台服务器分别读取数据和写入数据，太麻烦了！ 我们希望有一种文件系统，可以管辖很多服务器用于存储数据。通过这个文件系统存储数据时，感觉不到是存储到
HDFS设计基础与目标
BXiron的博客
11-20 686
硬件错误是常态。因此数据需要有冗余 我们使用的每个集群中可能会有许许多多的pc服务器，只要是在运转中的机器，就有可能出现各种的问题，或许是是因为长时间运转而导致CPU过热引起的性能下降，或者是硬盘的损坏而导致服务器的宕机，也有可能是某个节点的失效等等，这些问题对我们的存储的数据来说都是一种危险的存在，如果我们的集群中的服务器足够的多，那我们对于这种的突发事件是无法避免的。所以我们需要冗余，也就是需
HDFS 设计目标
君子不器
01-21 2047
1、hadoop的设计假设和目标 廉价机的磁盘容易坏。 2、hdfs的设计目标和假设 用户控件可以位于异构的操作系统中：
HDFS概述和设计目标
MOL
07-10 5901
移动计算比移动数据划算： 数据在A结点，那么可能把计算放在靠近A结点的地方，而不是远离A结点的地方。
HDFS基础知识（设计目标，相关概念，可靠性保障，读写，优缺点）
login_sonata的博客
01-31 3432
一，HDFS出现的背景虽然硬盘存储容量在不断提升，但是访问速度（I/O）跟不上，解决办法是数据存储在多个硬盘，同时对多个硬盘的数据并行读写。 这样需要解决两个问题：一是硬件故障问题，二是分析任务需要结合不同来源的数据。 于是，Hadoop提供了一个可靠的共享存储和分析系统：HDFS实现数据的存储，MapReduce实现数据的分析和处理。 作为Hadoop的核心技术之一，HDFS（Hadoop
分布式文件系统HDFS 相关概念知识
酒心★
09-07 480
一、HDFS的局限性： 1.不支持实时处理的任务需求。但Hbase满足实时处理需求。 2.无法高效存储大量的小文件，因为是以索引结构保存到内存当中去。 3.不支持多用户写入以及任意修改文件、只允许追加不允许修改。 二、HDFS的相关概念 1.块: 块存储，就是把一个物体分成很多块的意思。 2.采用块设计的好处： 支持大规模文件存储(把其切割然后存储)；方便元数据的管理(因为块的大小是固定的)；比较...
HDFS的设计目标
liu904139492的专栏
03-09 5227
1 检测和快速恢复硬件故障。 硬件故障时计算机常见的问题。整个HDFS系统由数百甚至上千个存储着数据文件的服务器组成。而如此多的服务器则意味着高故障率，因此，故障的检测和快速自动恢复是HDFS的一个核心目标。 2 流式的数据访问。 HDFS使应用程序流式地访问它们的数据集。HDFS被设计成适合进行批量处理，而不是用户交互式处理。所以它重视数据吞吐量，而不是数据访问的反应速度。 3 简化一致
分布式文件系统HDFS
williamjame的博客
01-07 8760
1.1简介 HDFS实现目标 兼容廉价的硬件设备 实现流数据读写 支持大数据集 支持简单的文件模型 强大的跨平台兼容性 HDFS自身的局限性 不适合低延迟数据访问 无法高效存储大量小文件 不支持多用户写入及任意修改文件 2.1概念 块的概念 支持面向大规模数据存储 降低分布式节点的寻址开销 HDFS采用这种抽象的块的概念设计好处 1.支持大规模文件存储:
HDFS概述
ying.F的博客
07-18 5032
想学习大数据方面的知识就避不开hadoop，终于下决心补充一下知识的盲区，听了厦门大学林子雨老师的大数据原理与应用课程（确实是好课，感谢老师！），记录一下自己学习到了HDFS相关知识。 HDFS是hadoop的核心设计之一，解决的是海量数据的存储问题。全程Hadoop Distribute File System，是一个分布式文件系统。 分布式文件呢，就是把文件分布存储到多个计算机节点上，成千...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值