大数据各架构概述

Hadoop概述

1.hadoop是Apache基金会开发的分布式系统基础架构。
主要解决：海量数据的存储和海量数据的分析计算。
2.Hadoop优势：
（1）高可靠性：Hadoop底层维护多个数据副本；
（2）高扩展性：可以动态增加与删除节点
（3）高效性：在MapRudece的思想下，Hadoop是并行工作的，以加快任务的处理速度。
（4）高容错性：能够自动将失败的任务重新分配。

HDFS架构概述

1.HDFS是分布式文件系统
（1）NameNode：储存数据的元数据，如：文件名，文件的目录结构，文件的属性（生成时间，副本数，文件权限），以及每个的块列表和块所在的DataNode等。
（2）DataNode：储存具体的数据，在本地文件系统储存文件的块数据，以及块数据的校验和。
（3）Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份。

YARN 架构概述

1.是Hadoop的资源管理器（主要管理cpu和内存资源）
（1）ResourceManage：整个集群资源的老大
（2）NodeManage：单个节点服务器的资源老大