大数据技术与原理第二章

大数据处理架构Hadoop

Hadoop生态系统

1. HDFS

2. HBase

3. MapReduce

4. Hive

5. Pig

6. Mahout

7. Zookeeper

8. Flume

9. Sqoop

10. Ambari

Hadoop简介

• 1.Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
• 2.Hadoop是基于Java语言开发的
• 3.Hadoop的核心是分布式文件系统HDFS和分布式计算框架MapReduce
• 4.HDFS是针对谷歌文件系统GFS的开源实现 MapReduce是针对谷歌MapReduce的开源实现
• 5.创始人为Doug Cutting
• 6.源于Apache Nutch项目

Hadoop特性

1. 高可靠性
2. 高效性
3. 高可扩展性
4. 高容错性
5. 成本低
6. 运行在Linux平台上
7. 支持多种编程语言