大数据学习(3)- 分布式文件系统HDFS

目录

1.分布式文件系统

1.1 计算机集群概念

在这里插入图片描述

Hadoop的分布式文件存储,使得文件的存储不在依赖于计算机性能,普通的计算机也可以组件集群。

1.2 分布式文件系统结构

在这里插入图片描述

2.HDFS简介

2.1 HDFS设计的目标

  • 兼容廉价的硬件设备
  • 流数据的读写
  • 大数据集的存储于管理
  • 简单的文件模型
  • 强大的跨平台性能

2.2HDFS的局限性

  • 不适合低延迟的数据访问(HBASE支持实时访问)
  • 无法高效的存储大量的小文件(nameNode节点的存储有限,如果小文件过多,元数据就多)
  • 不支持多用户写入及任意修改

2.3 块的概念

在这里插入图片描述

2.4 HDFS主要组件及其功能

在这里插入图片描述

2.4.1 名称节点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4.2 第二名称节点

在这里插入图片描述

2.4.3 数据节点
  • 数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取,会根据客户端或者是名称节点的调度来进行数据的存储和检索,并且向名称节点定期发送自己所存储的块的列表
  • 每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中

3.HDFS体系结构

3.1 HDFS体系结构介绍

在这里插入图片描述

  • HDFS的命名空间包含目录、文件和块
  • 在HDFS1.0体系结构中,在整个HDFS集群中只有一个命名空间,并且只有唯一一个名称节点,该节点负责对这个命名空间进行管理
  • HDFS使用的是传统的分级文件体系,因此,用户可以像使用普通文件系统一样,创建、删除目录和文件,在目录间转移文件,重命名文件等
    在这里插入图片描述
    在这里插入图片描述

3.2 HDFS体系结构的局限性

在这里插入图片描述

4.HDFS存储原理

4.1 冗余数据保存

在这里插入图片描述

4.2 数据存取策略

在这里插入图片描述
在这里插入图片描述

4.3 数据错误和恢复

HDFS具有较高的容错性,可以兼容廉价的硬件,它把硬件出错看作一种常态,而不是异常,并设计了相应的机制检测数据错误和进行自动恢复,主要包括以下几种情形:名称节点出错、数据节点出错和数据出错。

4.3.1 名称节点出错
  • 名称节点保存了所有的元数据信息,其中,最核心的两大数据结构是FsImage和Editlog,如果这两个文件发生损坏,那么整个HDFS实例将失效。因此,HDFS设置了备份机制,把这些核心文件同步复制到备份服务器SecondaryNameNode上。当名称节点出错时,就可以根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。
4.3.2 数据节点出错

在这里插入图片描述

4.3.3 数据出错
  • 网络传输和磁盘错误等因素,都会造成数据错误
  • 如何判断数据出错:HDFS在创建每个文件的时候,都默认给出了一个校验码,在读取文件的时候,会比对校验码,如果校验码没有错,则数据没有出错。
  • 在文件被创建时,客户端就会对每一个文件块进行信息摘录,并把这些信息写入到同一个路径的隐藏文件里面
  • 当客户端读取文件的时候,会先读取该信息文件,然后,利用该信息文件对每个读取的数据块进行校验,如果校验出错,客户端就会请求到另外一个数据节点读取该文件块,并且向名称节点报告这个文件块有错误,名称节点会定期检查并且重新复制这个块

5.HDFS数据读写过程

HDFS支持两种方式的交互,我们可以自由的选择shell和java的方式。

5.1 数据读取过程

在这里插入图片描述

5.2 数据存储过程

在这里插入图片描述

5.3 读写介绍在这里插入图片描述

5.3.1 读数据过程

在这里插入图片描述

5.3.2 写数据过程

在这里插入图片描述

6.HDFS编程实践

参考链接:http://dblab.xmu.edu.cn/blog/290-2/
在这里插入图片描述
在这里插入图片描述

6.1 HDFS常用命令

  • hadoop fs -ls :显示 指定的文件的详细信息
  • hadoop fs -mkdir :创建 指定的文件夹
  • hadoop fs -cat :将 指定的文件的内容输出到标准输出(stdout)
  • hadoop fs -copyFromLocal :将本地源文件复制到路径指定的文件或文件夹中

6.2 HDFS的web界面

在这里插入图片描述

  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值