![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
swiftYF
这个作者很懒,什么都没留下…
展开
-
MapReduce、HDFS和Yarn的架构概述
1.MapReduce的诞生是为解决海量数据的计算Map阶段并行处理输入数据。 ①每一个MapTask独立工作 ②自己监视自己 Reduce阶段是对Map结果进行汇总,结果显示在磁盘上。 2.HDFS是解决海量数据的存储问题。(分布式文件系统) 1)NameNode:对外暴露存储在该结点,存储的是相关信息 2)DataNode:负责数据实实在在的的存储。 3)2NN:备份一部分。 3.Yarn是资源协调者...原创 2021-10-14 19:44:35 · 161 阅读 · 0 评论 -
大数据hadoop的入门了解
大数据是为解决海量数据采集、存储和计算。 hadoop是又Apache基金会所开发的分布式系统基础架构,主要是为解决海量数据的存储和海量数据的分析计算问题。 Hapood生态圈: ①高可靠性:hadoop底层维护多个数据副本,所以即使hadoop某个计算元素存储出现故障,也不会导致数据丢失 ②高扩展性:在集群间分配任务数据,可方便的扩展数数以千计的节点 ③高效性:在MapReduce的思想下,Hadoop的并行工作的,以加快任务处理速度。 ...原创 2021-10-14 10:54:28 · 296 阅读 · 0 评论