大数据核心技术

    Common ： 在 2.2.0 以前的大多数版本中，包含 HDFS 、 MapReduce 和其他项目公共内容，从 2.2.0 开始 HDFS 和 MapReduce 被分离为独立的子项目，其余内容为 Hadoop Common 。
    Avro： 新的数据序列化格式与传输工具，将逐步取代 Hadoop 原有的 IPC 机制。
    MapReduce： 并行计算框架， 0.20 前使用 org.apache.hadoop.mapred 旧接口， 2.2.0 版本开始引入 org.apache.hadoop.mapreduce 的新 API 。
    HDFS： Hadoop 分布式文件系统 (Hadoop Distributed FileSystem) 。
    Pig： 大数据分析平台，为用户提供多种接口。
    Hive： 数据仓库工具，由 Facebook 贡献。
    Hbase： 类似 Google BigTable 的分布式 NoSQL 列数据库。 (HBase 和 Avro 已经于 2010 年 5 月成为顶级 Apache 项目 ) 。
    ZooKeeper： 分布式锁设施，提供类似 Google Chubby 的功能，由 Facebook 贡献。
   Sqoop： Sqoop 是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库 ( 例如 ： MySQL, Oracle, Postgres 等 ) 中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导入到关系型数据库中。
   Oozie： 负责 MapReduce 作业调度。