初识Haphoop

问题：

1.Haphoop概述

可靠的、可扩展的、分布式的框架（大数据数据体量大，所以采用分布式的多线程方式）；

The project includes these modules:

Hadoop Common: The common utilities that support the other Hadoop modules.
Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
Hadoop YARN: A framework for job scheduling and cluster resource management.
Hadoop MapReduce: A YARN-based system for parallel processing of large data sets

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。
应用：日志分析、搜索引擎、数据挖掘、商业智能。

2.分布式文件系统——HDFS

源自于Google的GFS论文，论文发表于2003年，特点是可扩展性（节点可扩展）、容错性（数据复制多个副本）和海量数据存储。

• 将文件切分成指定大小的数据块并以多副本存储在多个机器上；
• 数据切分、多副本、容错操作对于用户是透明的；
  

3.资源调度系统——YARN（Yet Another Resource Negotiator）

负责集群的管理和调度，具有可扩展性（计算能力不够时通过添加机器的方式扩充资源）、容错性（作业在执行过程中运行过程中出现问题，多次试错）和多框架资源统一调度。

3.分布式计算框架——MapReduce（Yet Another Resource Negotiator）

源自于Google的MapReduce论文，发表于2004年，特点扩展性、容错性及海量数据离线处理。