YARN
大数据开发
菜鸟hyn
这个作者很懒,什么都没留下…
展开
-
MapReduce1与Yarn(MapReduce2)
(1)在Hadoop1.x中,通过设置mapred.job.tracker来决定执行mapreduce机制,如果设置为local,则使用本地的作业运行器,如果设置为主机和端口号,则这个地址被解析为一个jobtracker地址,运行器则将作业提交给jobtracker。 它主要由以下几个组件组成:Client、JobTracker、TaskTracker、Task (2) 在ha...转载 2018-06-16 09:51:51 · 1888 阅读 · 0 评论 -
YARN运行机制
1、作业的提交 Client提交Job,调用Job.submit()方法创建一个JobSubmitter实例,并调用其submitJobInternal()方法 向RM请求一个新的应用ID,用于作业ID(步骤2);检查作业的输出说明,计算作业的输入分片,将运行作业所需要的资源(包括Jar包,配置文件,split信息)复制到以作业ID命名的目录下的共享文件系统下(步骤3)。作业Jar的...原创 2018-06-16 12:31:13 · 368 阅读 · 0 评论