- 博客(2)
- 收藏
- 关注
RSS订阅原创 YARN运行原理
yarn的工作机制（重点）1、连接运行器平台根据mapreduce.framework.name变量配置如果等于yarn：则创建YARNRunner对象如果等于Local：则创建LocalJobRunner对象2、如果是yarn平台，对resoucemanager提交作业审请3、resourcemanager返回一个jobid和数据保存目录（hdfs://xxx/staging/xxx）4、客户端根据返回数据保存目录路径，将job.split、job.xml、jar文件提交到hdfs://x
2022-01-06 16:44:47
322
原创 TEZ和MR简要区别
首先看一下MapReduce的工作流程图Tez工作流程图从上面两个图可以看出，Tez可以将多个有依赖的作业转换为一个作业（这样只需写一次HDFS，且中间节点较少），从而大大提升DAG作业的性能。Tez已被Hortonworks用于Hive引擎的优化，经测试，性能提升约100倍。...
2022-01-06 15:42:38
1969
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人