大数据开发
xjz729827161
Android H5各种搬砖,打杂。保持学习,并记录的热情
展开
-
HDFS原理了解 (学习笔记)
HDFS简介 HDFS:Hadoop Distributed File System(hadoop分布式文件系统) 分布式,感觉好厉害的样子啊,有网络文件系统,有本地文件系统,现在又多了一个分布式的文件系统。之所以是要分布式,是数据要放到多个主机上面去。放的东西在集群中,就是分布式啦! 想要了解这个东东,先找一张原理图瞅瞅。 看不懂没关系,继续往下瞅就是了。 HDFS 1.0 ...原创 2018-03-06 20:16:28 · 15768 阅读 · 0 评论 -
yarn原理 (学习笔记)
Yarn简介 YARN (Yet Another Resouce Negotiator) :另外一个资源管理器 为啥要搞这个玩意,其实是有原因的。 并不是开发者太闲了。 主要解决hadoop 1.0 中mapreduce的问题 1. 存在单点故障 2. JobTracker“大包大揽”导致任务过重(任务多时内存开销大,上限4000节点) 3. 容易出现内存溢出(分配资源只考虑MapR...原创 2018-03-11 13:06:32 · 394 阅读 · 0 评论