【Hadoop】之 HDFS

Hadoop

Hadoop的组成成分

Hadoop Common：Hadoop模块的通用模块
Hadoop Distributed File System：分布式文件系统
Hadoop Yarn：作业调度和资源管理框架
Hadoop MapReduce：基于Yarn的大型数据集，并行计算处理框架
Hadoop Ozone：Hadoop的对象存储机制
Hadoop Submarine：Hadoop的机器学习引擎

Hadoop的生态图如下

Ambari
	用于供应，管理和监控Apache Hadoop集群的基于Web的工具。
	
Hbase
	是一个可扩展的分布式数据库，支持大型表的结构化数据存储。是一个适合于非结构化数据存储的数据库，是面向列存储的。
	
Hive
	是运行在hadoop的数据仓库工具，可以将结构化的数据文件映射成表，并以类sql的语言对数据进行查询和管理等操作。
	
Pig
用于并行计算的高级数据流语言和执行框架，它简化了hadoop进行数据分析的要求。提供了一个高层次的、面向领域的抽象语言：Pig Latin。		
	
Spark
Hadoop数据的快速和通用计算引擎。 Spark提供了一个简单而富有表现力的编程模型，支持广泛的应用程序，包括ETL，机器学习，流处理和图计算。

ZooKeeper
一个面向分布式应用程序的高性能协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

Oozie(工作流调度器)
	一个可扩展的工作体系，集成于Hadoop的堆栈，用于协调多个MapReduce作业的执行。它能够管理一个复杂的系统，基于外部事件来执行，外部事件包括数据的定时和数据的出现。

Sqoop(数据ETL/同步工具）
	Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。

Flume（日志收集工具）
	Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。
	
 Kafka（分布式消息队列）
	Kafka是Lin