HDFS概述

最新推荐文章于 2024-07-01 12:58:04 发布
最新推荐文章于 2024-07-01 12:58:04 发布
阅读量5.6k 收藏 6
点赞数 1
分类专栏： 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44809337/article/details/109300725
版权

文章目录

一、HDFS概述

1. 什么是HDFS

   HDFS 全称是Hadoop Distributed File System hadoop分布式（cluser）文件存储系统.

2. HDFS基本架构

1、hadoop1体系 64M一个快（少）
hadoop2体系 128M一个块（默认）
8TB （3TB/3TB/2TB）n=X/128 个快
提高数据读写效率（利于并行读取数据）

2、冗余存储 (24TB 动态扩充 ，保证数据安全)
3、校验和（确定块是否完整 是否损坏）
	原理：实现思想（加密算法MD5 不可逆）
	         可对二进制加密，128M加密----> 32个字符串（16进制0F） 
	         元不变（加密结果也不会改变）
	         datanode 定期检查块 （向nameNode汇报块是否损坏）。

NameNode 的持久化？：

在这里插入图片描述

3. 搭建[HDFS]

/opt/models   原始文件
/opt/install  安装文件放置的位置  

1. linux服务器的基本配置
   设置ip,关闭防火墙，关闭selinux,配置主机名，主机与ip映射
2. 安装jdk 1.7+ 
   rpm -ivh jdk-7u71-linux-x64.rpm  默认安装位置 /usr
   环境变量的配置
       vi /etc/profile   环境变量 linux 所有用户生效
       
       vi ~/.bash_profile 环境变量 当前用户生效
       vi ~/.bashrc
        JAVA_HOME=/usr/java/jdk1.7.0_71
        CLASSPATH=.
        PATH=$JAVA_HOME/bin:$PATH:$HOME/bin

        export JAVA_HOME
        export CLASSPATH
        export PATH
        
        source .bash_profile

在这里插入图片描述

4. 安装hadoop

   tar -zxvf hadoop-2.5.2.tar.gz -C /opt/install

5. hadoop配置文件的配置 etc/hadoop

   1.1 hadoop-env.sh
       export JAVA_HOME=/usr/java/jdk1.7.0_71
   1.2 core-site.xml
       <!--用于设置namenode并且作为Java程序的访问入口--->
        <property>		
           <name>fs.defaultFS</name>
           <value>hdfs://hadoop.baizhiedu.com:8020</value>
        </property>
       <!--存储NameNode持久化的数据，DataNode块数据——>
       <!--手工创建$HADOOP_HOME/data/tmp-->
        <property>
	       <name>hadoop.tmp.dir</name>
	       <value>/opt/install/hadoop-2.5.2/data/tmp</value>
         </property>
   1.3 hdfs-site.xml
       <!--设置副本数量 默认是3 但是单节点测试，改成1-->
        <property>		
          <name>dfs.replication</name>
          <value>1</value>
        </property>
   1.4 mapred-site.xml
       <!--yarn 与 MR相关-->
           <property>	 	        		
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
           </property>
   1.5 yarn-site.xml
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
   1.6 slaves
       hadoop2.baizhiedu.com

6. namenode的格式化

【第一次搭建hdfs集群时需要使用】
      目的作用：格式化hdfs系统，并且生成存储数据块的目录
      bin/hdfs namenode -format

7. 启动hadoop守护进程

      sbin/hadoop-daemon.sh start namenode
      sbin/hadoop-daemon.sh start datanode
      sbin/yarn-daemon.sh start resourcemanager
      sbin/yarn-daemon.sh start nodemanager
      
      sbin/hadoop-daemon.sh stop namenode
      sbin/hadoop-daemon.sh stop datanode
      sbin/yarn-daemon.sh stop resourcemanager
      sbin/yarn-daemon.sh stop nodemanager

8. 测试验证安装成果

ps -ef | grep java
      jps 查看相关4个进程
      通过网络进行访问测试
           浏览器 http://hadoop2.baizhiedu.com:50070 hdfs
                 http://hadoop2.baizhiedu.com:8088  yarn

9. Hadoop HDFS运行过程中的错误分析#

   1. 查看日志
      tail -nxxx 文件名
      $HADOOP_HOME/logs 
      [hadoop-用户名-namenode-主机名.log]
      hadoop-root-namenode-hadoop2.baizhiedu.com.log
      hadoop-root-datanode-hadoop2.baizhiedu.com.log
      yarn-root-resourcemanager-hadoop2.baizhiedu.com.log
      yarn-root-nodemanager-hadoop2.baizhiedu.com.log

10、HDFS的client访问

在这里插入图片描述

1. 查看目录结构
   bin/hdfs dfs -ls 路径
   bin/hdfs dfs -ls /
2. 创建文件夹
   bin/hdfs dfs -mkdir /suns
   bin/hdfs dfs -mkdir -p /liuh/xiaojr
3. 本地上传文件到hdfs中
   bin/hdfs dfs -put /root/hdfs/data /suns
   bin/hdfs dfs -put local_path hdfs_path
4. 查看文件内容
   bin/hdfs dfs -text /suns/data
   bin/hdfs dfs -cat /suns/data
5. 删除
   bin/hdfs dfs -rm /suns/data
   注意事项：可以修改垃圾桶的存活时间
   core-site.xml
   	<property>
		   <name>fs.trash.interval</name>
		   <value>10</value>
    </property>
    垃圾桶的位置:/user/root/.Trash/190522010000/suns/data
    hdfs：有权限：
    hdfs-site.xml
    <property>
		   <name>dfs.permissions.enabled</name>
		   <value>false</value>
    </property>
6. 删除非空文件夹 
   bin/hdfs dfs -rmr /suns
7. 从hdfs下载文件到本地
   bin/hdfs dfs -get hdfs_path local_path
8. cp mv

11.指定 Hadoop的启停脚本


shell脚本 当前目录执行方式  ./hadoop-start.sh
         绝对路径执行shell /opt/install/hadoo-2.5.2/hadoop-start.sh

linux  hadoop-start.sh
       sbin/hadoop-daemon.sh start namenode
       sbin/hadoop-daemon.sh start datanode
       sbin/yarn-daemon.sh start resourcemanager
       sbin/yarn-daemon.sh start nodemanager
    
       hadoop-stop.sh
       sbin/hadoop-daemon.sh stop namenode
       sbin/hadoop-daemon.sh stop datanode
       sbin/yarn-daemon.sh stop resourcemanager
       sbin/yarn-daemon.sh stop nodemanager
 sbin/yarn-daemon.sh start nodemanager
    
       hadoop-stop.sh
       sbin/hadoop-daemon.sh stop namenode
       sbin/hadoop-daemon.sh stop datanode
       sbin/yarn-daemon.sh stop resourcemanager
       sbin/yarn-daemon.sh stop nodemanager

二、NameNode的持久化（persistent）

在这里插入图片描述

NameNode在运行时，元数据放置在内存中。
	如果内存出现问题，则元数据丢失。
	为了保证元数据安全，NameNode有对应的持久化机制，把元数据持久化到硬盘存储。

1. FSImage和EditsLog

1、FSImage（文件系统镜像二进制）
  存储某一个时间点（checkPoint）的NameNode镜像数据
  默认存储位置  /opt/install/hadoop-2.5.2/data/tmp/dfs/name
   dfs.namenode.name.dir
   
 2、EditsLog 
   可编辑日志二进制 记录（检查点以后的所有写操作）
   默认存储位置 dfs.namenode.edits.dir

3、 定制FSImage和EditsLog的存储位置
   ~~~markdown
   hdfs-site.xml
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:///xxx/xxxx</value>
   </property>
   <property>
       <name>dfs.namenode.edits.dir</name>
       <value>file:///xxx/xxxx</value>
   </property>

2、 安全模式（safe mode)

  每一次启动namenode时，hdfs都需要进行FSImage和EditsLog的整合，
在这个过程中，不允许用户做写操作，把这个过程称之为安全模式（safe mode),默认30秒
 （1）. safe mode相关命令
      bin/hdfs dfsadmin -safemode [enter leave get] 
 （2）. HDFS集群启动是，完成流程
      HDFS集群启动 过程 （安全模式）
      1，整合 FSImage和EditsLog 生成新的EditsLog 和 FSImage,由新EditsLog接收用户写操作命令
      2, DataNode都需NameNode主动汇报健康情况（心跳）3秒
      3, 汇报块列表  通过校验和 检查块是否可用，并定期1小时汇报。

3、SecondaryNameNode作用

在这里插入图片描述

自定义SecondaryNameNode 拉取数据的周期
hdfs-site.xml
	dfs.namenode.checkpoint.period   3600秒
	dfs.namenode.checkpoint.txns     1000000

secondaryNameNode启动方式：
	sbin/start-dfs.sh
 	sbin/hadoop-daemon.sh start secondarynamenode


定制secondaryNameNode 启动的节点
	hdfs-site.xml
	dfs.namenode.secondary.http-address    0.0.0.0:50090
	dfs.namenode.secondary.https-address   0.0.0.0:50091

4、HANameNode集群（高可用）


zookeeper：选主过程
   1 ,2,3,4,5,按编号依次启动:
	 服务器1启动，给自己投票，发投票信息，由于其它机器还没有启动所以它收
不到反馈信息，服务器1的状态一直属于Looking(选举状态)。
     服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大
所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
	服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3
的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。
服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。
      服务器5启动，后面的逻辑同服务器4成为小弟。	
      
	LOOKING，竞选状态。
	FOLLOWING，随从状态，同步leader状态，参与投票。
	OBSERVING，观察状态,同步leader状态，不参与投票。
	LEADING，领导者状态。

zookeeper 集群高可靠 （奇数台）
  作用：
   1、选主namenode（投票）active/standby
   2、管理EdisLog（QJN），将EdisLog同步给Standby（NameNode）

standyBy(Namenode)
	作用：
	  1、从zookerper上拉取edisLog 进行整合成 FSImage 替换原有的FSImage
	  2、接受dataNode 的元数据信息。
	  3、当activeNameNode 宕机时，全权接管 activeNameNode的所有功能，对外进行服务

在这里插入图片描述
在这里插入图片描述

5、 hdfs写文件的步骤

	(1)client向NameNode申请上传…/xxx.txt文件
	(2)NN向client响应可以上传文件
	(3)Client向NameNode申请DataNode
	(4)NN向Client返回DN1,DN2,DN3
	(5)Client向DN1,DN2,DN3申请建立文件传输通道
	(6)DN3,DN2,DN1依次响应连接

在这里插入图片描述

6、 hdfs读取文件步骤

	(1)client向NN请求下载…/xxx.txt文件
	(2)NN向client返回文件的元数据
	(3)Client向DN1请求访问读数据blk_1
	(4)DN1向Client传输数据
	(5)Client向DN2请求访问读数据blk_2
	(6)DN2向Client传输数据

在这里插入图片描述

7、hadoop的shuffle过程

	（1）、Map的输出会先写到内存缓冲区中
	（2）、达到 阀值（100M）/0.8产生溢写
	（3）、产生临时文件，写到本地磁盘
	（4）、多个file1 临时文件  marge排序合并（按分区、排序） ，个数为分区个数。
		   存在本地linux服务器端。

		（1）、reduce 通过 http 找nodemanager 
		（2）、主动拉去数据到 内存 环形缓冲区（分组排序 group sort）
		（3）、产生溢写——多个临时文件
		（4）、临时文件merge汇总（分组 、排序）交给——reduce

在这里插入图片描述

8、HANameNode集群的搭建

1. zookeeper集群
   1.1 解压缩
       tar -zxvf zookeeper-xxx-tar.gz -C /opt/install
   1.2 创建数据文件夹
       mdkir  zookeeper_home/data
   1.3 conf目录修改zookeeper的配置文件
       修改zoo_sample.cfg 为 zoo.cfg
       mv zoo_sample.cfg zoo.cfg
       编辑内容
       dataDir=/opt/install/zookeeper-3.4.5/data

       server.0=hadoop2.baizhiedu.com:2888:3888
       server.1=hadoop3.baizhiedu.com:2888:3888
       server.2=hadoop4.baizhiedu.com:2888:3888
   1.4 zookeeper_home/data
       myid文件    0          hadoop2.baizhiedu.com
       myid文件    1          hadoop3.baizhiedu.com
       myid文件    2          hadoop4.baizhiedu.com
   1.5 scp -r 命令 同步集群中所有节点 并 修改对应的myid文件
   1.6 主节点 ssh 其他节点
   1.7 启动zk服务
       bin/zkServer.sh start | stop | restart
       bin/zkServer.sh status 查看集群状态 【必须集群完整启动完成】
       
       bin/zkCli.sh [leader]

2. HA-HDFS集群
   删除 data/tmp 
   2.1 core-site.xml
          <property>		
			<name>fs.defaultFS</name>
			<value>hdfs://ns</value>
		</property>
	    <property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/install/hadoop-2.5.2/data/tmp</value>
	   </property>
	   <property>
		  <name>ha.zookeeper.quorum</name>
	      <value>hadoop2.baizhiedu.com:2181,hadoop3.baizhiedu.com:2181,hadoop4.baizhiedu.com:2181</value>
	  </property>
   2.2 hdfs-site.xml 
       	<property>
		   <name>dfs.permissions.enabled</name>
		   <value>false</value>
		</property>
		
	  <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
	  <property>
		  <name>dfs.nameservices</name>
		  <value>ns</value>
	  </property>
	  <!-- ns下面有两个NameNode，分别是nn1，nn2 -->
	  <property>
		  <name>dfs.ha.namenodes.ns</name>
		  <value>nn1,nn2</value>
	  </property>
  <!-- nn1的RPC通信地址 -->
	  <property>
		  <name>dfs.namenode.rpc-address.ns.nn1</name>
		  <value>hadoop2.baizhiedu.com:8020</value>
	  </property>
	  <!-- nn1的http通信地址 -->
	  <property>
		  <name>dfs.namenode.http-address.ns.nn1</name>
		  <value>hadoop2.baizhiedu.com:50070</value>
	  </property>
  <!-- nn2的RPC通信地址 -->
	  <property>
		  <name>dfs.namenode.rpc-address.ns.nn2</name>
		  <value>hadoop3.baizhiedu.com:8020</value>
	  </property>
	  <!-- nn2的http通信地址 -->
	  <property>
		  <name>dfs.namenode.http-address.ns.nn2</name>
		  <value>hadoop3.baizhiedu.com:50070</value>
	  </property>

	<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop2.baizhiedu.com:8485;hadoop3.baizhiedu.com:8485;hadoop4.baizhiedu.com:8485/ns</value>
	</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/install/hadoop-2.5.2/journal</value>
	</property>
	<!-- 开启NameNode故障时自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
    <!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	
   2.3 yarn-env.sh添加如下内容
   export JAVA_HOME=/usr/java/jdk1.7.0_71

    首先启动各个节点的Zookeeper，在各个节点上执行以下命令：
    bin/zkServer.sh start

    在某一个namenode节点执行如下命令，创建命名空间
    bin/hdfs zkfc -formatZK

    在每个journalnode节点用如下命令启动journalnode
    sbin/hadoop-daemon.sh start journalnode

    在主namenode节点格式化namenode和journalnode目录
    bin/hdfs namenode -format ns

    在主namenode节点启动namenode进程
    sbin/hadoop-daemon.sh start namenode

    在备namenode节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！

    bin/hdfs namenode -bootstrapStandby
    sbin/hadoop-daemon.sh start namenode

    在两个namenode节点都执行以下命令
    sbin/hadoop-daemon.sh start zkfc

    在所有datanode节点都执行以下命令启动datanode
    sbin/hadoop-daemon.sh start datanode

    日常启停命令
    sbin/start-dfs.sh
    sbin/stop-dfs.sh
~chun
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS 优缺点 + 组成架构 + Block块介绍
扛麻袋的少年的博客
11-07 504
六、1.HDFS概述 1.1 HDFS 产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS定义   HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有
HDFS 概述（一）
風再起时的博客
05-25 363
Hadoop 重点之 HDFS 1、HDFS 简介2、HDFS 的基本思想3、HDFS 的设计理念4、HDFS 的局限 1、HDFS 简介 HDFS是Hadoop的一个分布式文件系统，也是指被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，HDFS和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数
Hadoop学习笔记之HDFS
热门推荐
Gettler的博客
08-07 2万+
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
HDFS
weixin_51987187的博客
11-17 861
（一）HDFS简介及其基本概念   HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上。   这里重点介绍其中涉及到的几个概念：（1）超大文件。目前的hadoop集群能够存
深入解析HDFS：定义、架构、原理、应用场景及常用命令
最新发布
CloudJourney的博客
07-01 2475
HDFS是Hadoop生态系统中的一个分布式文件系统，旨在在集群的廉价硬件上可靠地存储大数据集。HDFS设计为高容错，并为高吞吐量数据访问而优化，适用于在商用硬件上运行的大数据应用。
HDFS概述（一）
芸芸众生
10-24 338
HDFS概述（一） 1. HDFS产出的背景及定义 1.1 HDFS产生的背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS的定义 ​ HDFS（Hadoop Distributed File Syst...
【1】HDFS概述
01-20
【1】HDFS概述 HDFS，全称Hadoop Distributed File System，是为解决大数据存储问题而诞生的分布式文件系统。随着互联网的发展，数据量呈现爆炸性增长，单个操作系统无法容纳并有效管理如此庞大的数据。因此，人们...
7_尚硅谷大数据之HDFS概述1
08-04
HDFS 概述及架构 HDFS（Hadoop Distributed File System）是一种分布式文件管理系统，用于存储和管理大规模数据。HDFS 的产生背景是随着数据量的增加，单个操作系统无法存储和管理所有数据，需要分布式文件管理系统...
第一章 HDFS概述.pptx
08-10
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是...HDFS只是分布式文件管理系统中的一种。
Typescript的使用（一）环境搭建
飞天代码的博客
09-03 233
需要将以前js文件改成ts文件。 第一步当然就是新建工程： 新建文件夹 第二步：用webstorm打开该文件夹，然后执行cnpm init 这样会生成package.json文件 第三步全局安装typescript npm install -g typescript 并且在跟目录下添加tsconfig.json文件 第四步：可以执行tsc看是否安装成功 第五步：因为历史js用了jquery，所...
hdfs分布式文件系统
KZZ‘s PDG的博客
07-27 331
Hadoop 核心-HDFS 1. HDFS概述 ###1.1 介绍 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。 ​ HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就...
【HDFS】一、HDFS概述
不二雄的博客
04-10 412
一、HDFS概述 1.1HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2HDFS的概念 ​ HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由...
HDFS追本溯源：体系架构详解
weixin_34114823的博客
04-11 140
Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储，MapReduce提供了对数据...
大数据-HDFS的定义、使用场景、优缺点、组成架构
hmyqwe的博客
11-26 1050
定义 HDFS(Hadoop Destributed File System)是一个分布式的文件系统，用于存储文件，通过目录树来定位文件 使用场景 适合一次写入，多次读取的场景，不支持文件的修改 优缺点 优点 高容错性 数据自动保存多个副本。它通过增加副本的形式提高容错性 某一个副本丢失后，它可以自动恢复 适合处理大数据 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据 文件规模：能够处理百万规模以上的文件数量 可构建在廉价机器上，通过多副本机制，提高可靠性 缺点 不适合低延时数据
一、HDFS 概述
weixin_44340038的博客
07-30 47
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值