大数据概述 2020.1.7

大数据部门组织结构

1、分布式系统基础架构
2、主要解决的问题：海量数据的存储和分析计算问题
3、Hadoop通常是指一个更广泛的概念——Hadoop生态圈
4、Google是Hadoop的思想之源，Google遇到数据存储困难，检索速度慢的问题
Google在大数据方面的三篇论文：
GFS——>HDFS
Map-Reduce——>MR
BigTable——>HBase

Hadoop的优势

1、高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失
2、高扩展性：在集群见分配任务数据
3、高效性：秉性工作，加快任务处理速度
4、高容错性：自动将失败的任务重新分配

Hadoop1.x和Hadoop2.x的区别

HDFS架构概述

1、NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性等
2、DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和
3、Secondary NameNode(2nn)：监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照

Yarn架构

MapReduce架构概述

1、Map阶段并行处理输入数据
2、Reduce阶段对Map结果进行汇总