大数据组件学习4 —— HDFS(一)

最新推荐文章于 2024-04-09 17:19:14 发布
最新推荐文章于 2024-04-09 17:19:14 发布
阅读量317 收藏
点赞数
分类专栏： HDFS 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40170142/article/details/124264199
版权
本文详细介绍了Hadoop的分布式文件系统HDFS，包括NameNode、SecondaryNameNode和DataNode的角色和功能。HDFS适用于大规模数据存储，以支持大数据分析。文章还阐述了NN、2NN和DN的工作机制，如元数据管理、镜像备份和数据节点心跳机制。
摘要由CSDN通过智能技术生成

Hadoop生态系统包含众多框架，从Hadoop框架本身开始，Hadoop本身包含三个组件 HDFS, Yarn, MapReduce，分别对应海量数据存储，资源调度，海量数据计算。 (讨论的是Hadoop 2.X，Yarn代替了1.X的 JobTracker)

一、HDFS, 又称 分布式文件系统，为适应海量数据的存储问题而设计，主要包含三个部分 NameNode, SecondaryNameNode, DataNode

1.1 NameNode(NN)

NN管理元数据信息，以及每一个文件对应的块信息

2.1 SecondaryNameNode（2NN）

  2NN是后台运行的程序，辅助NN管理元数据

3.1 DataNode(DN)

  DN用于实际管理文件数据块，存有数据块的副本

NN DN
存储元数据(目录结构与文件分块位置信息) 存储文件内容（Block）
存在内存 存在磁盘
保存Block, DN, 文件之间的映射关系 保存Block id, DN 本地文件之间的映射关系

小结：NN与DN形成Master/Slaver主从架构，NN是主节点，DN是从节点，协调运行形成分布式文件系统。HDFS适用于 “一次写入，多次读取” 的场景，即大数据分析场景下的底层数据存储，而不是网盘这类应用，因为修改不便，延迟大&#x

最低0.47元/天 解锁文章
爱睡觉的考拉yxl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解锁大数据世界的钥匙——Hadoop HDFS安装与使用指南
凛鼕将至的博客
12-30 1355
大数据存储与处理是当今数据科学领域中最重要的任务之一。随着互联网的迅速发展和数据量的爆炸性增长，传统的数据存储和处理方式已经无法满足日益增长的需求。因此，大数据技术应运而生，成为解决海量数据存储和处理问题的重要工具。在大数据技术中，Hadoop是应用最广泛的框架之一。作为一个开源的分布式计算平台，Hadoop提供了一套可靠、可扩展的解决方案，用于存储和处理大规模数据集。
(超详细)大数据Hadoop之HDFS组件
小赵的呢
11-13 1984
一、 HDFS简介 1.1 HDFS的概述 在Hadoop生态圈中，HDFS属于底层基础，负责存储文件。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fJ0akZ3J-1635241253834)(C:\Users\86157\Desktop\javatest\大数据开发\Hadoop框架\Hadoop生态圈.png)] 1.2 HDFS产生背景 HDFS全称为Hadoop Distributed File System，很简单Hadoop的分布式文件存储系统 **1）**
大数据存储组件–hdfs
Strangewu的博客
04-12 1092
官网给出的介绍 The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems are signif.
HDFS主要组件（数据块、NameNode、DataNode、secondaryNameNode）
m0_47792921的博客
09-01 6618
HDFS主要组件 1、数据块（Block） HDFS中的文件是以数据块的形式存储的，默认最基本的存储单位是128MB的数据块，也就是说，存储在HDFS中的文件都会被分割成128MB一块的数据进行存储，如果文件本身小于128MB，则按照实际大小进行存储，并不占用整个数据库空间。 HDFS的数据块之所以会设置这么大，其目的是减少寻址开销。数据块数量越多，寻址数据块所耗费的时间越多。当然也不会设置过大。 HDFS的每一个数据块默认都有3个副本，分布存储在不同...
Hadoop大数据组件——HDFS
weixin_55796089的博客
01-05 777
HDFS的优缺点 1.优点 1.高容错性：数据可字宗保存多个副本，通过增加副本的形式，提高容错性。 2.适合处理大数据：数据规模可达到GB，TB甚至是PB级的大数据。文件规模可达到百万。 3.可构建在廉价机器上：通过多副本机制，提高可靠性。 2.缺点 1.不适合低延时数据的访问：毫秒级的存储数据时难以实现的。 2.无法高效对大量小文件进行存储。小文件存储的寻址时间会超过读取时间，违反了HDFS的设计目标。同时数据块占用大量内存，而NameNode内存有限。 3.不支持并发写入，文件随即修改。一个人间只能读
Linux文件目录操作命令
lilililimu的博客
09-15 89
命令 功能 ls 显示文件和目录列表 touch 生成一个空文件或更改文件的时间 cp 复制文件或目录 mv 移动文件或目录、文件或目录改名 rm 删除文件或目录 ln 建立链接文件 pwd 显示当前工作目录 cd 切换目录 find 在文件系统中查找指定的文件 mkdir 创建目录 rmdir 删除空目录 tree 显示目录树 ...
大数据组件学习6 —— HDFS(二)
weixin_40170142的博客
04-23 1187
之前说了HDFS的组件，尤其是 NN, DN, 2NN的工作机制，这回整理下HDFS的block块与副本机制，读写过程 1. HDFS的block块 HDFS中存储的文件都以block的形式放在DN中，Hadoop 2.X中采用每个block的默认大小128M, 可以调整，主要看网络IO，磁盘IO的能力，设置太小，寻址时间过长，设置太大MR处理时间过长 以block存储文件的好处： 可存储比磁盘空间大的文件 块的形式可以简化存储子系统 块的形式非常适合数据备份从而提供系统容错性 2.副本机制..
大数据组件学习2 —— Sqoop
weixin_40170142的博客
04-17 1454
一、Sqoop进行数据导出 接着说Sqoop, 关于Sqoop导出, 导出前需要先在RDBMS中创建表，在从Hive, HDFS等存储组件中导出数据 1.1 默认模式 bin/sqoop export bin/sqoop export --connect jdbc:mysql://localhost:3306/test \ --username root \ --password ****** \ --table XXX \ --export-dir YYY \ 默认模式就是将HDFS...
大数据组件学习1——Sqoop
weixin_40170142的博客
04-10 2079
bin/sqoop import \ --connect jdbc:mysql://localhost:3306/test \ --username root \ --password 123456789 \ --delete-target-dir \ -
大数据及其常用组件介绍
11-06
本TTP为大数据及其常用组件的基本介绍（hdfs hive hbase kafka spark kudu impala kylin streamsets）仅供参考。
Hadoop各组件详解（HDFS篇）
01-07
一、Hadoop三大组件 1.HDFS 分布式文件存储系统 2.MapReduce 分布式离线计算框架 ​3.Yarn Hadoop资源调度器 1.HDFS HDFS的设计特点是： 1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了 2、文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算器上， 它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得都。 3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同， 它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，
大数据框架之Hadoop：HDFS（一）HDFS概述
yiluohan0307的专栏
02-12 1064
HDFS概述
【Hadoop】HDFS三组件：NameNode、SecondaryNameNode和DataNode
Just Do IT
01-08 5222
HDFS主要由三个组件构成，分别是NameNode、SecondaryNameNode和DataNode，其中NameNode和SecondaryNameNode运行在master节点上，DataNode运行在slave节点上。 HDFS架构如下图： 1. NameNode NameNode管理HDFS文件系统的命名空间，它维护文件系统树及树中的所有文件和目录。同时NameNode也
大数据技术之Hadoop（HDFS）
最新发布
qq_53741629的博客
04-09 1638
1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。
HDFS组件
weixin_44616592的博客
03-10 1774
文章目录HDFS组件及优略HDFS的优缺点NameNode(主)DataNode(从)SecondaryNameNodeJournalNode（共享文件的进程）HDFS读写流程HDFS文件系统读流程HDFS文件系统写流程HDFS集群高可用(HA)高可用的备份方式为什么HDFS要有HA存在 HDFS组件及优略 HDFS的优缺点 优点： 高可靠性:Hadoop存储和处理数据的能力强 高扩展性: 有效的分布数据计算,在不同节点上 高效性:动态的移动数据,可以保证各个节点之间的数据平衡 高容错: Hadoop能自
大数据之HDFS详解
qq_42588609的博客
04-25 352
HDFS是Hadoop生态系统中的一个重要组件，它是为了解决大规模数据存储和处理问题而设计的。HDFS的架构由NameNode和DataNode组成，它提供了与标准文件系统类似的操作，并且可以与Hadoop MapReduce和其他Hadoop生态系统中的工具一起使用。HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个分布式文件系统，它是为了解决大规模数据存储和处理问题而设计的。HDFS的使用可以分为两个部分：文件系统操作和数据处理。
大数据基础-数据存储组件介绍
feiying
09-02 3452
文章目录目标分类- 列式存储- 行式存储- 常见存储格式- 典型开源应用- Hive支持的格式- Impala支持的格式- HBase支持的格式-应用场景-实时数据平台 目标 分类 WOS（Write Optimized Store） 采⽤用 kudu 表⽀持实时导⼊ ROS（Read Optimized Store） 采⽤ Parquet 列式存储，采用合理的分区和文件⼤小，最⼤化的减少扫描的...
【TiDB】大数据存储组件TiDB原理+实战篇
互联网小阿祥
11-12 9698
大数据组件TiDB原理+实战篇
Hadoop大数据与云计算教程：HDFS核心讲解
在这个大数据与云计算的课程中，首先介绍了Hadoop的核心组件——HDFS（Hadoop Distributed File System），它是分布式存储的基础。HDFS设计的主要目标是处理大规模数据，通过将大型数据集分割成块并在多台服务器上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值