![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
LW_PMMER
这个作者很懒,什么都没留下…
展开
-
YARN运行原理
yarn的工作机制(重点) 1、连接运行器平台 根据mapreduce.framework.name变量配置 如果等于yarn:则创建YARNRunner对象 如果等于Local:则创建LocalJobRunner对象 2、如果是yarn平台,对resoucemanager提交作业审请 3、resourcemanager返回一个jobid和数据保存目录(hdfs://xxx/staging/xxx) 4、客户端根据返回数据保存目录路径,将job.split、job.xml、jar文件提交到hdfs://x原创 2022-01-06 16:44:47 · 321 阅读 · 0 评论 -
TEZ和MR简要区别
首先看一下MapReduce的工作流程图 Tez工作流程图 从上面两个图可以看出,Tez可以将多个有依赖的作业转换为一个作业(这样只需写一次HDFS,且中间节点较少),从而大大提升DAG作业的性能。Tez已被Hortonworks用于Hive引擎的优化,经测试,性能提升约100倍。 ...原创 2022-01-06 15:42:38 · 1951 阅读 · 0 评论