![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
指尖下的技术
这个作者很懒,什么都没留下…
展开
-
认识Hadoop(一)
Hadoop是开源的分布式存储、分布式计算平台两个核心组成:(1)HDFS分布式文件系统,存储海量的数据(2)MapReduce并行处理框架,实现任务分解和调度作用:可以搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务优势:1、高扩展2、低成本3、成熟的生态圈...原创 2019-08-28 15:03:02 · 132 阅读 · 0 评论 -
认识Hadoop(二)
集群简介Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:Name Node、DATa Node、SecondaryNameNode。YARN集群负责海量数据运算时的资源调度,集群中的角色主要有:Resource Manager、Node Manager。Hadoop部署方式分为三种:S...原创 2019-08-28 17:11:58 · 183 阅读 · 0 评论