目录
1.分布式文件系统
1.1 计算机集群概念
Hadoop的分布式文件存储,使得文件的存储不在依赖于计算机性能,普通的计算机也可以组件集群。
1.2 分布式文件系统结构
2.HDFS简介
2.1 HDFS设计的目标
- 兼容廉价的硬件设备
- 流数据的读写
- 大数据集的存储于管理
- 简单的文件模型
- 强大的跨平台性能
2.2HDFS的局限性
- 不适合低延迟的数据访问(HBASE支持实时访问)
- 无法高效的存储大量的小文件(nameNode节点的存储有限,如果小文件过多,元数据就多)
- 不支持多用户写入及任意修改
2.3 块的概念
2.4 HDFS主要组件及其功能
2.4.1 名称节点
2.4.2 第二名称节点
2.4.3 数据节点
- 数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取,会根据客户端或者是名称节点的调度来进行数据的存储和检索,并且向名称节点定期发送自己所存储的块的列表
- 每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中
3.HDFS体系结构
3.1 HDFS体系结构介绍
- HDFS的命名空间包含目录、文件和块
- 在HDFS1.0体系结构中,在整个HDFS集群中只有一个命名空间,并且只有唯一一个名称节点,该节点负责对这个命名空间进行管理
- HDFS使用的是传统的分级文件体系,因此,用户可以像使用普通文件系统一样,创建、删除目录和文件,在目录间转移文件,重命名文件等
3.2 HDFS体系结构的局限性
4.HDFS存储原理
4.1 冗余数据保存
4.2 数据存取策略
4.3 数据错误和恢复
HDFS具有较高的容错性,可以兼容廉价的硬件,它把硬件出错看作一种常态,而不是异常,并设计了相应的机制检测数据错误和进行自动恢复,主要包括以下几种情形:名称节点出错、数据节点出错和数据出错。
4.3.1 名称节点出错
- 名称节点保存了所有的元数据信息,其中,最核心的两大数据结构是FsImage和Editlog,如果这两个文件发生损坏,那么整个HDFS实例将失效。因此,HDFS设置了备份机制,把这些核心文件同步复制到备份服务器SecondaryNameNode上。当名称节点出错时,就可以根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。
4.3.2 数据节点出错
4.3.3 数据出错
- 网络传输和磁盘错误等因素,都会造成数据错误
- 如何判断数据出错:HDFS在创建每个文件的时候,都默认给出了一个校验码,在读取文件的时候,会比对校验码,如果校验码没有错,则数据没有出错。
- 在文件被创建时,客户端就会对每一个文件块进行信息摘录,并把这些信息写入到同一个路径的隐藏文件里面
- 当客户端读取文件的时候,会先读取该信息文件,然后,利用该信息文件对每个读取的数据块进行校验,如果校验出错,客户端就会请求到另外一个数据节点读取该文件块,并且向名称节点报告这个文件块有错误,名称节点会定期检查并且重新复制这个块
5.HDFS数据读写过程
HDFS支持两种方式的交互,我们可以自由的选择shell和java的方式。
5.1 数据读取过程
5.2 数据存储过程
5.3 读写介绍![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/69f44557102f30d9e5d25adc115b7056.png)
5.3.1 读数据过程
5.3.2 写数据过程
6.HDFS编程实践
参考链接:http://dblab.xmu.edu.cn/blog/290-2/
6.1 HDFS常用命令
- hadoop fs -ls
:显示 指定的文件的详细信息 - hadoop fs -mkdir
:创建 指定的文件夹 - hadoop fs -cat
:将 指定的文件的内容输出到标准输出(stdout) - hadoop fs -copyFromLocal :将本地源文件复制到路径指定的文件或文件夹中