大数据之Hadoop:大数据概论

1.1大数据概念：
大数据（Big Data）：指无法在一定时间范围内，用常规软件工具进行捕捉，管理，和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流畅优化能力的海量，高增长率和多样化的信息资产。
主要解决海量数据的存储和海量数据的分析计算，统一资源的海量调度。

1.2大数据特点（4V）：
1、Volume(大量)
2、Velocity(高速)
3、Variety(多样)
4、Value(低价值密度)

1.3Hadoop组成：
HDFS（Hadoop Distributed File System）
1.3.1HDFS架构概述：
1.NameNode：存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode。
2.DataNode:在本地文件系统，存储文件快数据，以及快数据的校验和。
3.Secondary NameNode:用来监控Hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据的快照。
1.3.2YARN架构概述
YARN架构概述

1.3.3 MapReduce架构概述
MapReduce将计算过程分为两个阶段：Map和Reduce，如图2-25所示
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总

1.4 大数据技术生态体系