大数据Hadoop相关概念及其技术生态圈

Google 大数据技术三篇论文

GFS、 BigTable、 GMapReduce
Google File System中文版:http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System中文版_1.0.pdf
Google Bigtable中文版:http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable中文版_1.0.pdf
Google MapReduce中文版:http://blog.bizcloudsoft.com/wp-content/uploads/Google-MapReduce中文版_1.0.pdf

人们口中的大数据一般指
源于谷歌三篇关于海量数据存储和计算的三篇论文发展而来的

Hadoop和其技术生态圈

Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。

Hadoop 模仿了Google大数据技术
Hadoop的 两个核心概念

1. HDFS :分布式文件系统（Hadoop Distributed File System）
2. MapReduce：并行计算处理框架，实现任务分解和调度

生态圈就像动物园

ZooKeeper

Apache ZooKeeper致力于开发和维护开源服务器，实现高度可靠的分布式协调。

Flume

Flume是一种分布式用于有效地收集，聚合和移动大量日志数据的技术。它具有基于流数据流的简单灵活的架构。

HBase

Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。

Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

Hue

Hue是用于数据仓库的开放源代码的SQL工作台

Impala

Impala是Cloudera公司主导开发的新型查询系统,相对hive来说, Impala不需要把中间结果写入磁盘，省掉了大量的I/O开销,从而查询更快

Kudu

作为开源Apache Hadoop生态系统的新成员，Apache Kudu完善了Hadoop的存储层，以实现对快速数据的快速分析.

Oozie

Oozie是一个用于管理Apache Hadoop作业的工作流程调度程序系统。

Spark

Sqoop

Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据。

YARN

YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。

Pig

Apache Pig是一个分析大型数据集的平台，它包含用于表达数据分析程序的高级语言，以及用于评估这些程序的基础结构。