(2)Hadoop

Hive：可以写SQL语句,充当数据仓库作用，完成批量数据处理。

Pig：针对流式数据，轻量级脚本语言。

Tez:将整个MapReduce作业构建成一个有向无环图，实现作业的优化。

ZooKeeper：分布式协调一致性。分布式锁一致性，集群管理等等。

FLume:针对流式数据的收集工作，日志收集工具。

Spark类似于MapReduce，但是Spark是基于内存计算的。

Sqoop:将传统的关系型数据库的数据导入/导出到Hadoop（HDFS，Hbase，Hive中）。

HBase: 非关系型分布式数据库，架构在HDFS之上。用来存储非结构化和半结构化的松散数据。HDFS顺序读写，Hbase支持随机读写以及实时应用。

MapReduce:Data Processing

Yarn:集群的资源管理，cluster resource management

SecondaryNameNode在小型集群中可以和NameNode共用一台机器，较大的群集可以采用与NameNode相同的硬件。（不同的机器）

对于一个小的集群，名称节点（NameNode）和JobTracker运行在单个节点上，通常是可以接受的。但是，随着集群和存储在HDFS中的文件数量的增加，名称节点需要更多的主存，这时，名称节点和JobTracker就需要运行在不同的节点上。

 

安装：

1.一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

2.我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop （与系统用户名相对应），因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input。标注：这里两个hadoop对应的。