hdfs简介

最新推荐文章于 2024-09-17 08:00:00 发布
最新推荐文章于 2024-09-17 08:00:00 发布
阅读量564 收藏
点赞数
分类专栏： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012485099/article/details/109717932
版权

1.HDFS概述

1.1HDFS产生背景及定义

1.1.1产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件系统中的一种

1.1.2定义

HDFS(Hadoop Distributed File System) 是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，有很多服务器联合起来实现其功能，集群中服务器有各自的角色

HDFS适合一次写入，多次读取的场景，且不支持文件的修改。适合用来做数据分析，并不适合来做网盘应用

1.2HDFS优缺点

1.2.1优点

➢ 高容错性

  1. 数据自动保存多个副本，它通过增加副本的形式，提高容错性
  2. 某一个副本丢失后，它可以自动修复

➢ 适合处理大数据

  • 数据规模：能够处理数据规模达到EB（35个集群，11w+服务器,数据量5.2+ EB，线上数据表1.6kw+,线上任务1.2kw+级别）
  • 文件规模：能够处理百万规模以上的文件数量，数据量相对大

➢ 可建构在廉价的机器上，通过多副本机制，提高可靠性

1.2.2缺点

➢ 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的

➢ 无法高效对大量小文件进行存储

  1. 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的
  2. 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标

➢ 不支持并发写入，文件随机修改

  1. 一个文件只能有一个写，不允许多个线程同时写
  2. 仅支持追加append(追加)，不支持文件的随机修改

1.3HDFS组成架构

1.3.1NameNode(NN)

就是Master，它是一个主管、管理者

  1. 管理HDFS的名称空间
  2. 配置副本策略
  3. 管理数据块(block)映射信息
  4. 处理客户端读写请求

1.3.2DataNode

  1. 存储实际的数据块
  2. 执行数据块的读/写操作

1.3.3Client

文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后上传

  1. 与NameNode交互，获取文件的存储信息
  2. 与DataNode交互，读取或者写入数据
  3. Client提供一些命令来管理HDFS，比如NameNode格式化
  4. Client可以通过一些命令来访问HDFS，比如对HDFS的增删改查操作

1.3.4Secondary NameNode(2NN)

并非NameNode的热备份。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务

  1. 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NamenNode
  2. 在紧急情况下，可以辅助恢复NameNode

官方文档

1.4 HDFS文件块大小

HDFS在物理上是分块存储的(Block)，块大小可以通过参数(dfs.blocksize)进行配置，默认大小为128M(2.x版本)，老版本为64M

  1. 如果寻址时间约为10ms，即查到目标block的时间为10ms
  2. 寻址时间为传输时间的1%时，则为最佳状态。因此，传输时间为=10ms/0.1=1000ms=1s为最佳
  3. 目前磁盘的传输效率普遍为100m/s

➢ 思考：为什么块的大小不能设置太小？

  • HDFS块设置太小，会增加寻址时间，程序一直在找块的开始位置
  • 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置需要的时间。导致程序在处理这块数据时，会非常慢

总结：HDFS块的大小设置主要取决于磁盘传输速率

2.HDFS的Shell操作

2.1基本语法

bin/hadoop fs    具体命令   or  bin/hdfs dfs   具体命令

dfs是fs的实现类

2.2常用命令

## （0）启动Hadoop集群（方便后续的测试）
sbin/start-dfs.sh
sbin/start-yarn.sh
## （1）-help：输出这个命令参数
hadoop fs -help rm
## （2）-ls: 显示目录信息
hadoop fs -ls /
## （3）-mkdir：在HDFS上创建目录
hadoop fs -mkdir -p /sanguo/shuguo
## （4）-moveFromLocal：从本地剪切粘贴到HDFS
touch kongming.txt
hadoop fs  -moveFromLocal  ./kongming.txt  /sanguo/shuguo
## （5）-appendToFile：追加一个文件到已经存在的文件末尾
touch liubei.txt
vi liubei.txt
hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
## （6）-cat：显示文件内容
hadoop fs -cat /sanguo/shuguo/kongming.txt
## （7）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt
hadoop fs  -chown  feifeiliu:feifeiliu   /sanguo/shuguo/kongming.txt
## （8）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
hadoop fs -copyFromLocal README.txt /
## （9）-copyToLocal：从HDFS拷贝到本地
hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
## （10）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
## （11）-mv：在HDFS目录中移动文件
hadoop fs -mv /zhuge.txt /sanguo/shuguo/
## （12）-get：等同于copyToLocal，就是从HDFS下载文件到本地
hadoop fs -get /sanguo/shuguo/kongming.txt ./
## （13）-getmerge：合并下载多个文件，比如HDFS的目录 /user/feifeiliu/test下有多个文件:log.1, log.2,log.3,...
hadoop fs -getmerge /user/feifeiliu/test/* ./zaiyiqi.txt
## （14）-put：等同于copyFromLocal
hadoop fs -put ./zaiyiqi.txt /user/feifeiliu/test/
## （15）-tail：显示一个文件的末尾
hadoop fs -tail /sanguo/shuguo/kongming.txt
## （16）-rm：删除文件或文件夹 -f 强制删除非空文件，-r 递归删除 -skipTrash 不放入回收站
hadoop fs -rm -r -f -skipTrash /user/feifeiliu/test/jinlian2.txt
## （17）-rmdir：删除空目录
hadoop fs -mkdir /test
hadoop fs -rmdir /test
## （18）-du统计文件夹的大小信息  -s -h   个人记忆方法 -du(disk used) -h(human)  -s(summary)
hadoop fs -du -s -h /user/feifeiliu/test
2.7 K  /user/feifeiliu/test

hadoop fs -du  -h /user/feifeiliu/test
1.3 K  /user/feifeiliu/test/README.txt
15     /user/feifeiliu/test/jinlian.txt
1.4 K  /user/feifeiliu/test/zaiyiqi.txt
## （19）-setrep：设置HDFS中文件的副本数量
hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

可以参考  https://www.cnblogs.com/kimbo/p/6212732.html

3.HDFS的API操作

3.1HDFS的API操作

代码参考

3.2HDFS的I/O流操作

代码参考

4.HDFS数据流

4.1 HDFS写数据流程

4.1.1 剖析文件写入

写数据流程

  1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在
  2. NameNode返回是否可以上传
  3. 客户端请求第一个 Block上传到哪几个DataNode服务器上
  4. NameNode返回3个DataNode节点，分别为dn1、dn2、dn3
  5. 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成
  6. dn1、dn2、dn3逐级应答客户端
  7. 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
  8. 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）

直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是串行，每个副本写的过程中都会逐级向上反馈写进度，以保证实时知道副本的写入情况

4.1.2 网络拓扑-节点距离计算

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和

4.1.3 机架感知（副本存储节点选择）

官方文档

4.2 HDFS读数据流程

读数据流程

  1. 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址
  2. 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据
  3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）
  4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件

5.NameNode和SecondaryNameNode

5.1NN和2NN工作机制

思考：NameNode中的元数据是存储在哪里的？

首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。

这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。

但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并

1. 第一阶段：NameNode启动

  1. 第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存
  2. 客户端对元数据进行增删改的请求
  3. NameNode记录操作日志，更新滚动日志
  4. NameNode在内存中对数据进行增删改

2. 第二阶段：Secondary NameNode工作

  1. Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果
  2. Secondary NameNode请求执行CheckPoint
  3. NameNode滚动正在写的Edits日志
  4. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode
  5. Secondary NameNode加载编辑日志和镜像文件到内存，并合并
  6. 生成新的镜像文件fsimage.chkpoint
  7. 拷贝fsimage.chkpoint到NameNode
  8. NameNode将fsimage.chkpoint重新命名成fsimage

个人理解：原理和Hbase很类似，写入时候采用追加的方式快速写入，然后定期对已有文件进行合并

5.2Fsimage和Edits

5.2.1文件位置

在core-site中通过dfs.name.dir参数指定name文件位置

<!-- 指定name路径 -->
	<property>
		<name>dfs.name.dir</name>
		<value>/usr/local/hadoop-2.9.2/name</value>
	</property>

因此笔者文件路径为：/usr/local/hadoop-2.9.2/name/current

5.2.2概念

namenode被格式化后，将在/usr/local/hadoop-2.9.2/name/current目录下产生fsimage_0000000000000000000、fsimage_0000000000000000000.md5、VERSION、seen_txid等四个文件

  1. fsimage文件：HDFS文件系统元数据的一个永久性检查点，其中包含HDFS系统的所有目录和文件inode的序列化信息
  2. edits文件：存放HDFS文件系统所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到该文件中
  3. seen_txid文件：保存的是一个数值，就是最后一个edits_的数字
  4. 每次namenode启动的时候都会将fsimage文件读入内存，加载edits里面的更新操作，保证内存中的数据时最新的、同步的，可以看成namenode启动的时候就将fsimage和edits文件进行了合并

5.3 CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次

<!-- [hdfs-default.xml] -->
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

（2）一分钟检查一次操作次数,当操作次数达到1百万时，SecondaryNameNode执行一次

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >

5.4 NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据:

将SecondaryNameNode中数据拷贝到NameNode存储数据的目录

  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
  3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
  4. 重新启动NameNode

使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中

  1. 修改hdfs-site.xml中的
  2. kill -9 NameNode进程
  3. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
  4. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
  5. 导入检查点数据（等待一会ctrl+c结束掉）
  6. 启动NameNode

5.5集群安全模式

5.5.1NameNode启动

NameNode启动时，首先将将镜像文件(Fsimage)载入内存，并执行编辑日志(Edits)中的各项操作，一旦在内存中成功建立文件系统元数据的镜像，则创建一个新的Fsimage文件和一个空的编辑文件。此时NameNode开始监听DataNode请求。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对客户端来说是只读的

5.5.2datanode启动

系统中的数据块位置并不是由NameNode维护，而是以块列表的形式存储在DataNode中。在系统的正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送最新的块列表信息，NameNode了解到最够多的位置信息后，即可高效运行文件系统

5.5.3安全模式退出判断

如果满足”最小副本条件“，NameNode会在30s之后就退出安全模式。所谓的最小副本条件指在整个文件系统中99.9%的块满足最小副本级别(默认：dfs.replicaion.min=1)。在启动一个刚刚格式化的HDFS集群时，因为系统中有任务块，所以NameNode不会进入安全模式

5.6 NameNode多目录配置

1.NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

2.具体配置如下

<property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>

6.DataNode

6.1 DataNode工作机制

  1. 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

  2. DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

  3. 跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用

  4. 集群运行中可以安全加入和退出一些机器

6.2 数据完整性

  1. 当DataNode读取Block的时候，它会计算CheckSum

  2. 如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏

  3. Client读取其他DataNode上的Block

  4. DataNode在其文件创建后周期验证CheckSum

6.3 掉线时限参数设置

  1. DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信
  2. NameNode不会立刻把该节点判定为死亡，要经过一段时间，这段时间成为超时时长
  3. HDFS默认超时时长为10分钟+30秒
  4. 如果超时时长Timeout，则超时时长计算公式为：Timeout=2*dfs.namenode.heartbeat.recheck.interval+10*dfs.heartbeat.interval。而默认的dfs.namenode.heartbeat.recheck.interval大小为5分钟，dfs.heartbeat.interval默认为三秒

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

6.4 服役新数据节点

略

6.5 退役旧数据节点

6.5.1 添加白名单

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出

在NameNode的`$HADOOP_HOME`/etc/hadoop目录下创建dfs.hosts文件，添加主机。并在在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性，然后分发hdfs-site.xml文件

<property>
<name>dfs.hosts</name>
<value>/usr/local/hadoop-2.9.2/etc/hadoop/dfs.hosts</value>
</property>

6.5.2 黑名单退役

在黑名单上面的主机都会被强制退出

在NameNode的`$HADOOP_HOME`/etc/hadoop目录下创建dfs.hosts.exclude文件。并在在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性，同时

6.6 Datanode多目录配置

1.  DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本

2．具体配置如下hdfs-site.xml

<property>
<name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

7.HDFS 2.X新特性

7.1 集群间数据拷贝

7.2 小文件存档

7.3 回收站

7.4 快照管理

8.HDFS的HA

8.1 HA概述

1）所谓HA（High Available），即高可用（7*24小时不中断服务）。

2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

4）NameNode主要在以下两个方面影响HDFS集群

       NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启

       NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器

8.2 HDFS-HA工作机制

通过双NameNode消除单点故障

8.2.1 HDFS-HA工作要点

➢ 元数据管理方式需要改变

  1. 内存中各自保存一份元数据
  2. Edits日志只有Active状态的NameNode节点可以做写操作
  3. 两个NameNode都可以读取Edits
  4. 共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）

➢  需要一个状态管理功能模块

实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止brain split现象的发生

➢ 必须保证两个NameNode之间能够ssh无密码登录

➢ 隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

8.2.2 HDFS-HA自动故障转移工作机制

前面使用命令hdfs haadmin -failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode

下面配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程，如图3-20所示。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。

2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。

ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

1）健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。

3）基于ZooKeeper的选择：如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为Active状态。

8.3 HDFS-HA集群配置

你可以参考  HDFSHighAvailabilityWithQJM   HDFSHighAvailabilityWithNFS

不名一文
关注
专栏目录
大数据(二) - HDFS
will的成长之路
01-12 1万+
HDFS优点     高容错性             数据自动保存多个副本             副本丢失后，自动恢复     适合批处理             移动计算而非数据             数据位置暴露给计算框架     适合大数据处理             GB、TB、甚至PB级数据             百万规模以上的文件数量
Hdfs
weixin_52923290的博客
04-04 3664
hdfs
大数据-Hadoop-基础篇-第四章-HDFS（分布式文件存储）
最新发布
Blueeyedboy521的博客
09-17 924
使用 get 命令可以将 HDFS 文件系统中的文件下载到本地,注意下载时的文件名不能与本地文件相同，否则会提示文件已经存在。使用 appendToFie 命令可以将单个或多个文件的内容从本地系统追加到 HDFS 系统的文件中。例如,将本地文件a.txt移动到HDFS的/imnput 文件夹中,命令如下:.使用 cp命令可以复制 HDFS 中的文件到另一个文件，相当于给文件重命名并保存，但源文件仍然存在。例如,将本地文件 a.txt 上传到 HDFS 文件系统的/input文件夹中，命令如下:。
HDFS
隔海前尘
07-05 843
HDFS中fsck指令可以显示块信息 hdfs fsck / -files -blocks namenode和datanode HDFS集群有两类节点以管理节点-工作节点模式运行，即一个namenode（管理节点）和多个datanode(工作节点）。namenode管理文件系统的命令空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜...
HDFS简介
01-07
一、HDFS的简介 分布式文件系统 HDFS Hadoop Distributed FileSystem 基于流数据访问模式处理超大规模的文件 适合应用大规模的数据集上 HDFS的优点 1）处理超大规模的文件 2）处理结构化，半结构化，非结构化的数据 ...
Hadoop技术HDFS简介共10页.pdf.zip
11-21
【标题】：“Hadoop技术HDFS简介共10页.pdf.zip”揭示了关于Hadoop分布式文件系统（HDFS）的基础知识。Hadoop是Apache软件基金会开发的一个开源框架，主要用于处理和存储大规模数据集。HDFS是Hadoop的核心组成部分，...
Hadoop技术-HDFS简介.pptx
11-02
"Hadoop技术-HDFS简介" Hadoop技术是当前大数据处理的主要解决方案之一，而HDFS（Hadoop Distributed File System）是Hadoop技术的核心组件之一。HDFS是一个分布式文件系统，设计适合运行在普通硬件设备上，能够...
大数据采集技术-HDFS简介.pptx
12-23
【大数据采集技术与HDFS简介】 大数据采集技术是现代信息技术领域的重要组成部分，它涉及如何从各种数据源高效地收集、整合和预处理大规模数据。在大数据处理中，Hadoop Distributed File System (HDFS) 是一个关键...
HDFS应用场景、原理、基本架构及使用方法
10-31
主要描述HDFS应用场景、实现原理、基本架构及使用方法
Hadoop集群中DataNode磁盘故障处理与HDFS简介
2. **Hadoop分布式文件系统（HDFS）简介** HDFS是一个高度可靠和可扩展的分布式文件系统，专为处理大数据而设计。它受到Google文件系统（GFS）的启发，能够存储海量文件并提供高可用性。HDFS的关键特性包括数据冗余...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值