大数据相关知识点

HDFS：高度容错的适合部署在廉价机器上的分布式系统，提供高吞吐量的数据访问，非常适合大规模数据上的应用。由于放宽了一部分POSIX约束，从而实现了流式读取文件系统数据。
MapReduce：一种编程模式，用于大规模数据集的并行计算。
map函数：接受一个键值对（key-value pair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。
reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。
Hbase：一个分布式的、面向列的开源数据库，它自底向上进行构建，能够简单地通过增加节点实现线性拓展。它并不是关系型数据库，不支持SQL。

Pig： 一种数据流语言和运行环境， 用以检索非常大的数据集， 运行在mapreduce和HDFS集群上。
Hive： 一个分布式、 按列存储的数据仓库。 Hive管理HDFS中存储的数据， 并提供基于SQL的查询语言（由运行时引擎翻译成Mapreduce作业） 用以查询数据。
ZooKeeper： 一个分布式、 可用性高的协调服务。 ZooKeeper提供分布式锁之类的基本服务用于构建分布是应用。
Sqoop:在数据库和HDFS之间高效传输数据的工具。
Mahout： 提供可拓展的机器学习领域经典的算法实现， 帮助开发人员更加快捷地创建智能应用程序。