HDFS入门（一） 背景及组成介绍

最新推荐文章于 2023-09-19 11:27:29 发布
最新推荐文章于 2023-09-19 11:27:29 发布
阅读量91 收藏
点赞数
文章标签： linux centos 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43038102/article/details/123216553
版权

在这里插入图片描述

一、背景介绍与优缺点

HDFS 适合于存储一次，读取多次的场合，存储入HDFS 后不可以对文件进行修改操作，只能够追加
在这里插入图片描述
在这里插入图片描述

二、HDFS组成

简单概括，NameNode 管映射，DataNode管存储
在这里插入图片描述
在这里插入图片描述
文件块（BLOCK）是集群中存储文件的单元，每个文件块的默认大小是128M。默认大小的含义是单个存储单位的存储“上限是”128。【dfs.blocksize】
当一个文件大小（1k）不足128M时，并不会占用128M，实际只占用1kb。
在这里插入图片描述
假设寻址（寻到block地址）的时间为10ms：
当磁盘传输速度为100M每秒，1秒钟一个BLOCK，设置blocksize为128刚好
当磁盘传输速度为200-300M每秒，1秒钟一个BLOCK，设置blocksize为256刚好

	新浪面试题：

在这里插入图片描述

weixin_43038102
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS背景及定义
nuobing1314的博客
08-13 678
HDFS产生背景：随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS中的文件在物理内存上是分块存储，块的大小可以通过配置参数来规定，在hadoop2版本和3版本，默认大小是128M ，老版本是64M；HDFS定义 ：hdfs是一个文件系统，用于存储文件，通过目录树来定位文件：其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。...
【Hadoop-HDFS】HDFS概述介绍（背景及定义、优缺点、组成架构、Block介绍）
一个写湿的程序猿
07-21 1292
第1章 HDFS概述 文章目录第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小
HDFS概述
Faded1573606285的博客
06-09 205
1 HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2 HDFS概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务...
【HDFS】一、HDFS概述
不二雄的博客
04-10 405
一、HDFS概述 1.1HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2HDFS的概念 ​ HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由...
HDFS encryption 实战之背景和架构介绍
我想静静
04-12 2540
KMS背景在全世界，为零满足隐私和其他安全需求，很多政府部门、金融部门和管理单位强制要求数据加密。 本文主要介绍了HDFS、KMS的概念和架构。
大数据入门、大数据基础，学习大数据必读
06-24
大数据框架：Hadoop 是大数据产业中广泛应用的框架，框架中最重要的组成部分 HDFS（Hadoop Distributed File System）和 MapReduce 就是前两篇论文的成果。 大数据处理方法：MapReduce 是一种针对超大规模数据集的...
hadoop介绍以及使用规则
02-15
Hadoop 主要由两个关键组件组成：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS 是一个分布式文件系统，它将大文件分割成多个小块，并在集群的不同节点上复制和存储，以确保数据的可靠性和容错性。...
Hadoop大数据开发基础-PPT课件（共6章）
04-05
Hadoop是由Apache软件基金会维护的一个开源项目，主要由HDFS（分布式文件系统）和MapReduce（分布式计算模型）组成。本章会阐述Hadoop的设计理念，即“存储和处理都在同一平台”，并解释为何Hadoop适合处理大规模...
Hadoop大数据开发实战-教学大纲.pdf
10-30
1. 大数据基础：介绍大数据产生的背景、定义、行业应用，以及大数据技术生态系统的组成。 2. Hadoop集群搭建与配置：教授如何在虚拟机上安装和配置Hadoop环境，包括固定IP设置、Linux操作、JDK安装等。 3. Hadoop...
hadoop背景介绍
01-29
Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于下层的存储和计算来完成的。Mapreduce和HDFS。核心组件的产生都是基于Google的思想来的，Google的GFS带来了我们现在所认识的HDFS，Mapreduce带来了现在Mapreduce。因为Google有bigtable的概念，就是通过一个表格去存储所有的网页数据，从而也带来了Hbase,但Hbase只是这种架构思想，架构并不完全一样。而位于上层的生态就是围绕Hadoop核心构件进行数据集成，数据挖掘，数据安全，数据管理以及用户体验等。
Hadoop - HDFS概述
maxcode
07-18 353
Hadoop - HDFS概述 Hadoop文件系统是使用分布式文件系统设计开发的。它运行在商品硬件上。与其他分布式系统不同，HDFS具有高度的容错能力，并采用低成本硬件设计。 HDFS拥有非常大量的数据，并提供更容易的访问。要存储这么大的数据，这些文件存储在多台机器上。这些文件以冗余的方式存储，以在发生故障的情况下挽救系统免受可能的数据丢失。HDFS还使应用程序可以并行处理。原文链接：http
HDFS的产生背景、储存的优缺点及组成架构
不爱吃鱼的馋猫
08-10 597
一、HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 二、HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入
【Hadoop】HDFS概述
(｡◕‿◕｡)
03-01 252
HDFS 定义 HDFS(Hadoop Distributed File System)，它是一个文件系统，用于储存文件，通过目录树来定位文件；其次，它是 分布式 的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。   HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。 HDFS 优缺点 优点： 1）高容错性 数据自动保存多个副本,某个副本丢失以后，它可以自动恢复...
分布式文件系统（HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小）
moose_killer的博客
04-05 1835
HDFS概述 HDFS产生背景及定义 分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连 接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻 辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源 提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。单独的 DFS 共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点。 计算机通
hadoop历史背景&hdfs分布式文件系统&hadoop的集群模式&单机模式&伪分布
C_CXY2333的博客
09-19 568
hadoop历史背景&hdfs分布式文件系统&hadoop的集群模式&单机模式&伪分布 1、hadoop的历史背景 lucense ---->nutch---->hadoop hadoop的思想来源：google的三大论文（GFS、mapreduce、bigtable） hadoop的分为6块： 1、Hadoop Common: The common u...
Hadoop之详解HDFS架构
weixin_43800761的博客
06-19 1214
在之前的博客里已经基本上介绍了Hadoop的基本架构，Hadoop包含三大基本组件： HDFS——分布式文件系统，用于数据存储 YARN——统一资源管理和调度系统，用于管理集群的计算资源并根据计算框架的需求进行调度，支持包含MapReduce、Spark、Flink等多种计算框架。MRv2(Hadoop 2.x)之后的新特性。 MapReduce——分布式计算框架，运行于YARN之上 这篇博客主要是对Hadoop三大基本组件之一的HDFS进行深入的学习。 一、HDFS概述 1.1 HDFS产生背景   
HADOOP 离线计算机系统【二】HDFS详解
wzq18845280610的博客
11-26 1524
HDFS详解******HDFS基本概念篇******1.HDFS前言2. HDFS的概念和特性******HDFS基本操作篇******3. HDFS的shell(命令行客户端)操作3.1 HDFS命令行客户端使用3.2 命令行客户端支持的命令参3.2 常用命令参数介绍******HDFS原理篇******4.hdfs的工作机制**详细请看 ：HDFS 详解:** [https://blog.csdn.net/wzq18845280610/article/details/110188742](https:
1. HDFS架构设计与工作原理
Z_Data的博客
09-19 292
副本技术也叫分布式数据复制技术，是分布式计算的一个重要组成部分。该技术允许数据在多个服务器端共享，而且一个本地服务器可以存取不同物理地点的远程服务器上的数据，也可以使所有的服务器均持有数据的副本。通过副本技术，文件系统具有以下优点：（1）提高系统可靠性系统不可避免地会产生故障和错误，拥有多个副本的文件系统不会导致无法访问的情况，从而提高了系统的可用性。另外，系统可以通过其他完好的副本对发生错误的副本进行修复，从而提高了系统的容错性。（2）负载均衡副本可以对系统的负载量进行扩展。
Hadoop HDFS初级部分
最新发布
04-21
第一部分主要介绍了HDFS的基本概念。HDFS作为一个分布式文件系统，其核心特性包括： 1. **高容错性**：HDFS通过复制文件到多个节点来保证数据的安全性和可靠性，即使有部分节点故障，仍能从其他节点恢复数据，确保...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值