MapReduce job运行的几种模式

1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器
      执行命令    hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 
      
      这种方式会将这个job提交到yarn集群上去运行
     
2、在Linux的eclipse中直接启动Runner类的main方法,这种方式可以使job运行在本地,也可以运行在yarn集群
      ----究竟运行在本地还是在集群,取决于一个配置参数
             mapreduce.framework.name == yarn (local)
      ----如果确实需要在eclipse中提交到yarn执行,必须做好以下两个设置
            a/将mr工程打成jar包(wc.jar),放在工程目录下
            b/在工程的main方法中,加入一个配置参数   conf.set("mapreduce.job.jar","wc.jar");

3、在windows的eclipse中运行本地模式,步骤为:
     ----a、在windows中找一个地方放一份hadoop的安装包,并且将其bin目录配到环境变量中 
     ----b、根据windows平台的版本(32?64?win7?win8?),替换掉hadoop安装包中的本地库(bin,lib)
     ----c、mr程序的工程中不要有参数mapreduce.framework.name的设置

4、在windows的eclipse中运行main方法来提交job到集群执行,比较麻烦
      ----a、类似于方式3中所描述的对本地库兼容性进行改造
      ----b、修改YarnRunner这个类    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值