CDH hive的mr架构配置文件的选择

6 篇文章 0 订阅
4 篇文章 0 订阅
我们都知道hive是在mapreduce基础上运行任务的,那么在用CDH的时候,因为CDH安装时提供了好几个hadoop的配置文件供选择,分别有conf.cloudera.hdfs1,conf.cloudera.mapreduce1,conf.cloudera.yarn1,并且通过alternatives --display hadoop-conf的命令可以看到当前选择的hadoop-conf是哪一个:

hadoop-conf  -status is manual

/etc/hadoop/conf.empty - priority 10

/etc/hadoop/conf.cloudera.hdfs1 - priority 90

/etc/hadoop/conf.cloudera.yarn1 - priority 91

/etc/hadoop/conf.cloudera.mapreduce1 - priority 92

Current 'best' version is /etc/hadoop/conf.cloudera.mapreduce1.

从上面可以看出hadoop-conf的可选项以及各个的优先级,在自动情况下,会选择conf.cloudera.mapreduce1,如果手动设置可以自由选择。

在CDH  hive的使用时需要指定采用哪种mr架构,mrv1还是mrv2,如果选择mrv2,那么就是yarn架构了,这时我们需要手动修改hadoop-conf为conf.cloudera.yarn1,即alternative --config hadoop-conf ,出现

There are 5 programs which provide 'hadoop-conf'.

1  /etc/hadoop/conf.empty - priority 10

2  /etc/hadoop/conf.cloudera.hdfs1 - priority 90

3  /etc/hadoop/conf.cloudera.yarn1 - priority 91

4  /etc/hadoop/conf.cloudera.mapreduce1 - priority 

Enter to keep the current selection[+],or type selection number:

这样输入3即可选择yarn。

在确定hive采用哪种架构时,我们通过这种方式决定hadoop-conf,如果是yarn,选择3即可。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值