HDFS分布式文件系统系列---HDFS 2.0新特性

最新推荐文章于 2024-07-01 12:58:04 发布
最新推荐文章于 2024-07-01 12:58:04 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： Hadoop HDFS 分布式文件系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bh_xiaoxinba/article/details/52723488
版权
本文详细介绍了HDFS 2.0的新特性，包括NameNode HA和Federation，实现高可用和扩展性；异构层级存储结构，适应不同性能要求的数据存储；HDFS ACL增强权限管理，以及HDFS快照功能，提供数据保护和备份。同时，HDFS缓存机制有效利用内存资源，提高数据访问效率。
摘要由CSDN通过智能技术生成

1、新特性

  • NameNode HA
  • NameNode Federation
  • HDFS 快照
  • HDFS 缓存
  • HDFS ACL
  • 异构层级存储结构

2、NameNode HA

多个namenode，一个为active，一个standby，通过zookeeper管理；

3、NameNode Federation

多个namenode，多个active，多个standby（每个active有一个standby）；每个namenode管理一部分目录，互相不交叉；
这里写图片描述
比如NN1管理/user目录；NN3管理/data目录等；

4、异构层级存储结构

1）背景

  • HDFS将所有的存储介质抽象成相同的Disk
<property>
    <name>dfs.datanode.data.dir</name
最低0.47元/天 解锁文章
bh_xiaoxinba
关注
专栏目录
HDFS分布式文件系统详细介绍
bitmao888的博客
03-31 2323
文章目录1、分布式文件系统详细介绍2、HDFS分布式文件系统设计目标3、HDFS的来源4、HDFS的架构图之基础架构5、抽象成数据块的好处块缓存hdfs的文件权限验证6、HDFS的元数据信息FSimage以及edits和secondaryNN的作用FSImage与edits详解FSimage文件当中的文件信息查看edits当中的文件信息查看secondarynameNode如何辅助管理FSImag...
模块一：Hadoop核心框架（五）----HDFS之重要概念
没有眉毛的阿斗叶
07-04 369
HDFS简介 HDFS （全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布式存储服务。 分布式文件系统横跨多台计算机，在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。 HDFS是分布式文件系统中的一种 HDFS的重要概念 典型的Master/Slave架构： HDFS 的架构是典型的 Master/Slave 结构。 HDFS集群往往是一个NameNode（HA架构会有两个NameN
深入解析HDFS：定义、架构、原理、应用场景及常用命令
最新发布
CloudJourney的博客
07-01 3981
HDFS是Hadoop生态系统中的一个分布式文件系统，旨在在集群的廉价硬件上可靠地存储大数据集。HDFS设计为高容错，并为高吞吐量数据访问而优化，适用于在商用硬件上运行的大数据应用。
HDFS2.0的新特性——联邦机制、HA高可用以及高可用的实现方式
SunRains
01-26 963
联邦 当说起联邦，很容易想起例如美国这样的国家，由州组成了一个联合统一的国家，每个州都有各自的宪法和法律，自己行使自己的权利。我们这里的联邦也是类似这种，有了这种机制HDFS集群中可以使用多个独立的NameNode来进行管理以满足HDFS命名空间的水平扩展，这些NameNode分别管理一部分数据，且共享所有的DataNode的存储资源。 通俗的讲就是，一个NameNode管理文件系统命名空间的一部分。例如NameNode1管理/usr目录下的所有文件，NameNode2管理/share目录下的所有文件。
HDFS：分布式文件系统
qq_45335413的博客
08-24 279
HDFS在整个Hadoop生态圈中的作用： 1、HDFS分布式文件系统，位于整个Hadoop的最底层，也是大数据的核心。 2、Hbase是在HDfs基础之上的框架，是列式存储，支持NOSQL语句。在这里可以把HDFS看做计算机一块大硬盘，HBASE是不是很像Redis。 3、Yarn可以和HBASE进行集成，也可以与HDFS进行集成，本质就是一个“发动机”，进行数据的处理计算。 4、Hive与pig数据分析引擎，与Yarn进行集成，底层处理数据采用的是MapReduce。 5、sqoop与flume 数据
HDFS分布式文件系统
weixin_52465547的博客
04-28 4579
HDFS分布式文件系统 学习目标： 1.1 了解HDFS的基本概念 1.2 掌握HDFS特点 1.3 掌握HDFS的构架和原理 1.4 掌握HDFS的Shell和JavaApi操作 学习内容： 1.1 HDFS的基本概念 HDFS（Hadoop Distributed File System）是一个易于扩展的分布式文件系统，运行在成百上千低成本的机器上。它与现有的分布式文件系统有许多相似之处，都是用来存储数据的系统工具，而区别在于HDFS具有高度容错能力，意在部署在低成本机器上。HDFS提供对应用程序数据的
hdfs-webdav.rar_hadoop_hadoop webdav_hadoop 系统_hadoop2.0 d_hdfs
09-20
标题中的"hdfs-webdav.rar"表明这是一个关于Hadoop分布式文件系统（HDFS）与WebDAV集成的压缩包资源。WebDAV是一种基于HTTP协议的协议，允许用户编辑和管理存储在远程服务器上的文件。在Hadoop生态系统中，通过...
2024年大数据技术入门：hdfs（分布式文件存储系统）
2401_84182097的博客
05-02 846
创作时间：2022 年 7 月 6 日博客主页： 🔍—— 新时代的农民工 🙊—— 换一种思维逻辑去看待这个世界 👀今天是加入CSDN的第1222天。
分布式文件系统-FastDFS
caozhisanguo的专栏
02-15 1645
分布式文件FastDFS
开源云原生分布式文件系统 - JuiceFS
m0_73257876的博客
09-17 635
大家最耳熟能详的分布式文件系统当属 HDFS，它的全称是 ​​，在 Hadoop 技术栈盛行时大放异彩。随着云计算的发展成熟，数据上云成为趋势，但由于对象存储和文件存储的结构不同，在云上要进行大数据存储时会遇到很多问题：查询性能慢、数据不能保证一致性。今天要为大家介绍的就是一款为云环境设计的文件系统，JuiceFS 是一款云原生高性能分布式文件系统， 采用的是插件化的架构，「数据」与「元数据」分离，用户可按照场景需求选择适用的元数据以及数据引擎。
我的架构梦：（五十九） Apache Hadoop 架构与原理
riemann_的博客
11-19 428
Apache Hadoop 架构与原理一、Hadoop的重要组成二、HDFS分布式文件系统三、MapReduce编程框架四、YARN资源调度 一、Hadoop的重要组成 Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块 1、Hadoop HDFS:(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统 比如:100T数据存储，“分而治之” 分:拆分–》数据切割，100T数据拆分为10G一个
分布式文件系统HDFS
BornZhu的博客
01-18 5470
1.什么是HDFS？ hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。源自于谷歌的GFS论文。发表于2003年，HDFS是GFS的克隆版。 2.HDFS的设计目标   （1）非常巨大的分布式文件系统 （2）运行在普通的廉价的硬件上 （3）易拓展，为用户提供性能不错的文件存储服务 3.HDFS架构 HDFS是Mas
HDFS2.0详解：NameNode HA与新特性
"该资源是巴豆大数据团队的HDFS讲师课件，专注于Hadoop的分布式文件系统HDFS，特别是HDFS2.0版本。课件涵盖了HDFS2.0的重要新特性，如NameNode的高可用性（HA）、NameNode联邦、HDFS快照、HDFS缓存和访问控制列表...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值