Apache HDFS(3)

目录

一、 大纲... 2

二、 HDFS入门... 4

1． HDFS基本概念... 4

1.1． HDFS介绍... 4

1.2． HDFS设计目标... 4

2． HDFS重要特性... 5

2.1． master/slave架构... 5

2.2． 分块存储... 5

2.3． 名字空间（NameSpace）... 5

2.4． Namenode元数据管理... 5

2.5． Datanode数据存储... 6

2.6． 副本机制... 6

2.7． 一次写入，多次读出... 6

3． HDFS基本操作... 7

3.1． Shell 命令行客户端... 7

3.2． Shell 命令选项... 8

3.3． Shell常用命令介绍... 9

4． HDFS文件限额操作... 12

4.1． 数量限额... 12

4.2． 空间大小限额... 12

4.3． 查看hdfs文件限额数量... 12

三、 HDFS基本原理... 13

1． NameNode概述... 13

2． DataNode概述... 14

3． HDFS的工作机制... 15

3.1． HDFS写数据流程... 16

3.2． HDFS读数据流程... 18

四、 HDFS的应用操作... 19

1． HDFS的JAVA API操作... 19

1.1． 搭建开发环境... 19

1.2． 构造客户端对象... 20

1.3． 示例代码... 22

---

 

二：HDFS入门

1、HDFS基本概念

1.1HDFS介绍

HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。

分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，他们为存储和处理超大规模数据提供所需的扩展能力。

1.2 HDFS 设计目标

1）硬件故障是常态，HDFS将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。

2）HDFS上的应用与一般的应用不同，他们主要是以流式读取数据。HDFS被设计成适合批量处理，而不是用户交互式的。相对于数据访问的反应时间，更注重数据访问的高吞吐量。

3