HDFS特性和常用功能

0. HDFS集群的配置

Hadoop集群配置后start-dfs.sh启动hdfs服务
Hadoop集群配置见前文

CentOS7下配置Hadoop集群和Zookeeper集群
https://blog.csdn.net/wxfghy/article/details/80417691

1. Hadoop官方文档

http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

2. HDFS概念

Hadoop Distributed File System
Hadoop的分布式文件系统
HDFS被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。

3. 基本特点

高容错性,部署在低廉的硬件上,高吞吐量,适用于海量数据的可靠性存储和数据归档

4. HDFS设计目标

1. 硬件失效
   将硬件失效看作一种常态,健壮性,高可用.检查错误,快速和自动恢复是核心架构
2. 流式访问
   允许通过流的方式访问数据集,批量处理非交互,高吞吐量访问非低延迟
3. 大数据集
   支持PB级数据量,具有高带宽,可扩展到集群中