目录
二:HDFS入门
1、HDFS基本概念
1.1HDFS介绍
HDFS是Hadoop Distribute File System 的简称,意为:Hadoop分布式文件系统。是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,他们为存储和处理超大规模数据提供所需的扩展能力。
1.2 HDFS 设计目标
1)硬件故障是常态,HDFS将有成百上千的服务器组成,每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。
2)HDFS上的应用与一般的应用不同,他们主要是以流式读取数据。HDFS被设计成适合批量处理,而不是用户交互式的。相对于数据访问的反应时间,更注重数据访问的高吞吐量。
3