Hadoop基础学习笔记系列（六）HDFS架构

已于 2022-02-15 00:03:44 修改
阅读量1.7k 收藏
点赞数
分类专栏： Hadoop 大数据工程师 文章标签： hadoop hdfs 架构
于 2022-02-15 00:03:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43114709/article/details/122934480
版权

目录

概览

  • 可扩展的分布式文件系统

  • 将数据以节点形式分布在本地磁盘上

  • 高度容错：可以使用低成本商业硬件

  • 数以千计的节点：需要处理节点或硬盘的failure

  • 轻量级

  • 高流通量

Approach：

  • 一致性模型：写一次读多次
  • 数据复制：可以处理硬件failure
  • 将计算放在数据附近
  • 放宽一部分POSIX约束,来实现流式读取文件系统数据的目的。

可移植操作系统接口（英语：Portable Operating System Interface，缩写为POSIX）是IEEE为要在各种UNIX操作系统上运行软件，而定义API的一系列互相关联的标准的总称。什么是POSIX？ - 问答 - 云+社区 - 腾讯云 (tencent.com)

![[Pasted image 20220214195511.png]]

  • 单个NameNode：管理文件系统的命名空间以及用户访问文件的规范，追踪情况
  • 多个DataNode：一般每个节点有一个DataNode。管理存储、为用户提供读写request，数据块的增删改

性能范围

  • 给定文件大小决定block的数量
  • 受块大小影响的关键HDFS和系统组件

块大小

  • 默认为64MB
  • 10GB文件会被分为：
最低0.47元/天 解锁文章
ElsaWu1998
关注
专栏目录
Hadoop学习笔记 --- HDFS架构笔记
杨鑫newlife的专栏
05-27 636
Hadoop学习笔记 --- HDFS架构笔记
Hadoop的学习，深入了解hdfs框架
Kayleigh520的博客
12-14 1100
深度了解hdfs架构，Hadoop的特点以及其工作机制
Hadoop学习笔记--HDFS
weixin_49588575的博客
02-07 720
Hadoop HDFS学习笔记
【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记）
HinsCoder的博客
03-07 3339
在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。。
一、Hadoop（大数据面试学习笔记）HDFS架构
singular037的博客
07-02 1429
HDFS 采用的是 Master/Slave 架构，一个 HDFS 集群包含一个单独的 NameNode 和多个 DataNode 节点。
Hadoop学习笔记——HDFS
成长过程
11-30 1639
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。
Hadoop学习笔记（三）HDFS部分上
qq_40432544的博客
11-15 648
Hadoop——HDFS部分上 一、HDFS概述 1.1 HDFS定义 ​ HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 ​ HDFS的使用场景：适合一次性写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 1.2 HDFS优缺点 优点： ​ 1、高容错性。数据自动保存多个副本。它通过增加副本的形式，提高容错率
Hadoop学习笔记（九）HDFS架构分析
Contributor -> Committer
10-17 996
HDFS设计目标 巨大的分布式文件系统:10PB以上，万个以上节点 运行于普通硬件：文件多重备份，探测失败和错误恢复 优化批处理：数据暴漏位置，以便计算能够挪到数据附近；提供高举和的带宽 用户控件可以位于异构的操作系统中 在整个集群中使用单一的命名空间 数据一致性：写入一次读取多次的访问模型；客户端只能追加已有的文件 文件被分割：默认一块64M;每一块复制到不同DataNode 智能客户端：客户端能
Hadoop 学习笔记——HDFS架构设计概览
u012361112的博客
07-13 281
一、HDFS是什么 随着移动互联网技术的发展，产生的用户数据也越来越多，对服务器存储需求也越来越大。服务器存储扩展有两个方向：1）垂直扩展，添加多个磁盘，缺点是单台机器能支持的磁盘总数有限，并且磁盘数太多会影响机器读取数据的能力。2）水平扩展，添加多台机器组成集群，将文件分散到集群中各个机器上存放，但是需要机器间网络通信以及某个节点挂掉无法提供的问题，而HDFS的出现便是为了解决这个问题的。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanod
个人笔记_hadoop-hdfs架构详解.docx
02-25
《深入解析Hadoop HDFS架构》 Hadoop HDFS（Hadoop Distributed File System）是大数据领域中的关键组件，尤其在处理大规模数据存储方面扮演着重要角色。HDFS的设计旨在处理超大文件，支持流式数据访问，具备高吞吐...
hadoop学习笔记（hdfs，mapreduce，yarn）
05-18
压缩文件中包含了Hadoop生态系统、体系架构及特点，三大基本组件HDFS，MapReduce，YARN的学习笔记，文件为Markdown格式，进行了详细功能介绍说明，可以帮助大家学习hadoop的三大组件或者作为一份详细资料备份，帮助...
WPF组件的自定义模板和触发器全面解析
百锦再的博客
10-14 941
WPF中的模板是为控件定义视觉结构的XAML资源。模板可以大幅度改变控件的外观，而不改变其行为。：用于定义控件的外观。：用于定义数据对象的可视化表现。：用于定义组合控件内部的布局。此示例将展示如何结合使用ControlTemplate和触发器，创建一个自定义的状态按钮：
【Hadoop】HDFS基本操作
m0_74183164的博客
10-14 143
然后将文件上传到刚刚创建的目录当中。将本地文件上传到远程分布式文件系统中。将文件/training/qm/file01 移动到/training/中。把文件/training/qm/file01下载到本地，命名为file02。777是最大权限，读写 4、2、1。
大数据毕业设计选题推荐-B站短视频数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-11 689
近年来，短视频的迅猛发展已经成为互联网内容生态的重要组成部分。根据《2023年中国短视频行业研究报告》显示，截至2023年，中国短视频用户规模已经突破9亿，占据网民总数的90%以上。尤其是像B站这样以二次元文化起家的平台，逐渐成为年轻人喜爱的视频内容消费平台。B站的用户主要集中在18-35岁的年轻群体，他们活跃度高、互动性强，尤其是在UP主（内容创作者）与用户之间建立了高度互动的社区文化。
WPF 的组件数据绑定详解
百锦再的博客
10-14 903
数据绑定是指在应用程序的 UI 层与业务逻辑层之间建立一种连接机制，以便它们之间可以相互通信和同步数据。在 WPF 中，数据绑定通过将源对象的属性绑定到目标 UI 元件的属性来实现。当源属性发生变化时，负责更新的机制将自动通知目标控件进行更新，反之亦然。为控件属性定义默认的，在可能的情况下默认是，可以保证控件内容的即时更新。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1533
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
性能测试架构：选择与优化的关键
老黄浅谈质量的博客
10-10 1631
性能测试架构的选择对于软件性能至关重要。不同的架构类型适用于不同的业务场景和性能需求，如简单系统架构、大型系统架构以及 CS/CSS 系统架构等，各有其特点和适用范围。在选择性能测试架构时，需要根据业务需求、性能指标以及综合评估各种架构的优缺点来做出决策。同时，性能测试工具与架构密切相关，不同的工具具有不同的特点和适用场景，能够为性能测试提供有力的支持。
深入解析ClickHouse：优势、架构、数据组织与应用场景
最新发布
weixin_43759894的博客
10-14 632
可以通过SQL的INSERT语句导入数据，也可以使用ClickHouse提供的clickhouse-client工具，将CSV、TSV等格式的文件导入到数据库中。在互联网、金融、电商等领域，ClickHouse能够对用户行为数据（如点击、浏览、购买等）进行实时分析，帮助企业了解用户行为偏好，支持精准营销和产品优化。这不仅节省了存储成本，还提高了数据读取的效率。ClickHouse可以处理监控系统中的海量指标数据，支持对设备状态、性能指标、系统日志的实时查询和分析，帮助企业构建高效的监控和告警系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值