hadoop 教程

Hadoop

子项目

• HDFS

  Hadoop分布式文件系统 － HDFS (Hadoop Distributed File System)

• MapReduce

  并行计算框架。

• HBase

  类似Google BigTable的分布式NoSQL列数据库。（HBase和Avro已经于2010年5月成为顶级 Apache 项目）

• Hive

  基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

• ZooKeeper

  分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。

• Avro

  新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

• Ambari

  Hadoop管理工具，可以快捷的监控、部署、管理集群。

• Sqoop

  在Hadoop与传统的数据库间进行数据的传递。

• Pig

  基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

• Mahout

  基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。

教程

Hadoop

• 文档

• 安装

Hive

• 文档

• 安装

Ambari

• 使用Ambari快速部署Hadoop大数据环境: http://www.uml.org.cn/sjjm/201305244.asp

http://blog.fens.me/hadoop-family-roadmap/