Hadoop学习笔记（不定期更新）

2017年10月15日起

《大数据技术基础——基于Hadoop与Spark》

JVM：     JVM是Java Virtual Machine（Java虚拟机）的缩写

HDFS： Hadoop分布式文件系统(HDFS)

YARN:      Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系  统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

MapReduce：   MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

PB:    数据单位，B.KB.MB.GB.TB.PB.     1PB=1024TB，依次类推

2017年11月12日

后来找到《Hadoop权威指南》于是开始看这本权威著作，发现，确实很深入浅出，讲问题很透彻。所以下面的笔记主要是这本书里的。

MapReduce：是一种线性的可伸缩编程模型。核心特征：数据本地化（data locality）。采用无共享框架。

限定用户使用有特定关联的键值对，mapper和reducer彼此间的协调非常有限。

mapreduce三大设计目标：（1）为只需要短短短几分钟或几个小时就可以完成的作业提供服务；（2）云星宇同一个内部有高速网络连接的数据中心内；（3）数据中心内的计算机都是可靠的。

网络带宽是数据中心环境最珍贵的资源，MapReduce通过显式网络拓扑结构来保留网络带宽。注意，这种方式并没有降低MapReduce对计算密集型数据的尽心分析的能力。