hadoop笔记

Hadoop 开源的，可靠的，可扩展的分布式并行计算框架，主要组成分布式文件系统HDFS

 和MapReduce计算模型

HDFS：文件分开存在不同的电脑

作者：Doug Cutting

语言是Java开发

Google带给我们的关键技术和思想的

       GFS(Google的文件存储系统),Map-Reduce（做计算）,Bigtable（对应HBase）

节点指的是计算机

Hadoop的四个模块

hadoop Common：为其他的hadoop模块提供基础设施

hadoop HDFS：一个高可靠，高吞吐量的分布式文件系统

hadoop MapReduce：一个分布式的离线并行计算框架

                  将计算分为两个阶段Map和Reduce ：

                                  Map阶段并行处理输入数据

                                  Reduce阶段对Map结果进行汇总

                  Shuffle连接Map和Reduce两个阶段：

                                  Map Task将数据写到本地磁盘

                                  Reduce Task从每个Map Task上读取一个份数据

                仅合适离线批量处理

                                  具有很高的容错性和扩展性

                                 合适简单的批处理任务

                 缺点明显：

                                 启动开销大，过多使用磁盘导致效率低下

hadoop YARN :一个新的MapReduce框架，任务调度和资源管理