HDFS知识点

最新推荐文章于 2022-07-06 12:26:29 发布
最新推荐文章于 2022-07-06 12:26:29 发布
阅读量282 收藏
点赞数
分类专栏： hadoop HDFS 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/changemyall/article/details/87105281
版权
本文总结了HDFS的工作机制，包括文件切块、数据存储、NameNode和DataNode的角色、元数据管理以及Secondary NameNode的功能。还详细介绍了HDFS的写入和读取流程，强调了NameNode的元数据存储策略以及Secondary NameNode在故障恢复中的作用。
摘要由CSDN通过智能技术生成

HDFS最近学习总结

一. hdfs整体运行机制：

  1. 客户把一个文件存入HDFS中，其实HDFS会把文件切成块进行存储，会分散存储到N台Linux系统中（存储文件块的角色是:datanode）(重要的是切块的行为是由客户端决定的)

  2. 一旦文件被切块切块存储，HDFS一定要有个机制，需要记录每一个文件的切块信息和每个切块具体的存储机器。（记录块信息的是namenode）

  3. 需要保证数据的安全性，HDFS将每一个块都在集群中存放多个副本（副本数是由存储时的客户端决定的）。

  4. 总结 : 一个HDFS系统是由一台运行了namenode的服务器和N台运行了datanode的服务器组成。

5.概述

  • HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode)
  • NameNode负责管理整个文件系统的元数据
  • DataNode 负责管理用户的文件数据块
  • 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上
  • 每一个文件块可以有多个副本，并存放在不同的datanode上
  • Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量
  • HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

最低0.47元/天 解锁文章
yunqiublog
关注
专栏目录
HDFS知识点整理总结
qq_40348184的博客
03-14 491
在学习Hadoop过程中总结一下Hadoop相关指令 Hadoop启动指令 所有启动指令都在指定服务器下启动 启动/关闭HDFS sbin/start-dfs.sh sbin/stop-dfs.sh 启动/关闭YARN（NodeManager 、ResourceManager） sbin/start-yarn.sh sbin/stop-yarn.sh 启动/关闭历史服务器 mapred --daemon start historyserver mapred --daemon stop historyser
HDFS知识点总结
weixin_30387423的博客
08-20 259
学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件，多用户写入，...
HDFS知识点汇总
LJJ1338的博客
08-29 789
一.Hdfs简介 hdfs是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件,并且是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各自负责角色； 角色：  HDFS的三个节点：Namenode，Datanode，Secondary Namenode Namenode：HDFS的守护进程，用来管理文件系统的命名空间，负责记录文件是如何分割成数据块，以...
hdfs 知识点
tzwjava的专栏
10-29 483
实体接口图
HDFS知识点整理
da_kao_la的博客
03-11 351
HDFS知识点整理 优缺点 优点 高容错性：多副本，自动恢复 处理的数据规模大：可处理PB级别的文件，可支持百万级数量的文件 缺点 不适合低延迟的数据访问 无法高效存储小文件 文件元数据过多，耗尽NameNode内存 小文件寻址超过文件读取时间，违背HDFS设计初衷 不支持并发文件写入 仅支持数据追加，不支持文件随机写 组成架构 NameNode 文件系统的管理者： 管理H...
HDFS 知识点总结
m0_46570085的博客
06-08 360
HDFS 知识点总结 一 什么是HDFS ？ HDFS 是一个分布式存储系统,用来存储海量数据的一个存储系统. 使用场景 1 ) 存储海量数据文件 2 ) 使用于 一次存储多次读取 3 ) 不适用于存储大量的小文件 4 ) 不适用于数的随机修改 5 ) 每个文件都会记录元数据 二 HDFS 特点 1 ) 高容错性 ,安全性 2 ) 可扩展性 3 ) 默认存储数据切块大小128M , 默认副本是3 个 4 ) 数据支持随机读取 5 ) 存储在HDFS 上的数据不允许随机写,并发写,追加,覆盖
浅显易懂入门大数据系列：一、HDFS（超详细）
邵奈一的博客
07-23 2132
文章目录Hadoop的定义及组成HDFS产生的背景背景下所面临的挑战HDFS应运而生HDFS的存储特点HDFS的架构特点HDFS的架构原理配套教程一 Hadoop的定义及组成 说到Hadoop，接触过大数据学习的人，应该都会听过。其实，这个英文单词，并没有实际上的意思，最开始也不是一个名词，只是Doug Cutting（Hadoop之父）的女儿的一只小黄象的名字。后来Doug Cutting把它当...
HDFS基础知识(个人总结)
hellosrc的博客
10-24 7340
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
史上最详细的HDFS讲解（含面试重点）
qq_52674050的博客
07-06 1658
目录第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS直接操作第3章 HDFS的API操作3.1 客户端环境准备3.2 HDFS的API案例实操3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件更名和移动3.2.
Python与大数据：HDFS知识点与数据分析库解析
"这是关于Python和大数据相关知识点的综合整理，包含Python基础、Hadoop与HDFS、大数据概念以及Pandas库的使用。" 在Python学习中，基础语法是非常关键的一部分，包括整数、浮点数和复数类型的使用。Python还提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值