![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
snowleafzf
这个作者很懒,什么都没留下…
展开
-
yarn sls学习(理论)
Hadoop2.0版本,引入了Yarn。核心:HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外,还能够支持其他的计算框架,比如spark等。hadoop原理理解参考:https://blog.csdn.net/wjlwangluo/article/details/76423147yarn scheduler load simul...原创 2018-11-12 14:42:34 · 699 阅读 · 0 评论 -
一、Hadoop权威指南学习(理论,1-2章)
第二步中,建立了一个临时文件夹hdfs://...JOB129330,在之后会删除第三步中,将工程打包上传一、MapReduce来自:https://www.cnblogs.com/baalhuo/p/5762087.html MapReduce中的每个map任务可以细分4个阶段:record reader、mapper、combiner和partitioner。ma...原创 2019-03-04 10:40:45 · 95 阅读 · 0 评论 -
二、Hadoop权威指南学习(HDFS)
Hadoop distributed filesystem:以流式数据访问模式来存储超大文件。一次写入、多次读取。流式数据访问每次读取都将涉及到数据集的大部分数据甚至全部。(为了读取很大的文件) 商用硬件 低时间延迟 不适合在HDFS上运行,HDFS是为搞数据吞吐量应用优化的,这可能会以提高实践延迟为代价。HBase更适合低延迟访问需求。 大量小文件 无法高效的存储大量小文件 多...原创 2019-03-05 15:53:16 · 315 阅读 · 0 评论 -
三、Hadoop权威指南学习(YARN)
部分基础以及yarn sls:https://mp.csdn.net/postedit/83991164yarn应用可以在运行中的任意时刻提出资源申请。1.在最开始提出所有请求(spark);2.为了满足不断变化的应用需要采取根伟动态的方式在需要更多资源时提出请求。yarn应用的生命周期:1.一个用户作业对应一个应用(MapReduce)2.作业的每个工作流或每个用户对话对应一个应...原创 2019-04-01 18:55:20 · 339 阅读 · 0 评论