mapreduce运行环境涉及的相关配置

近日安装HIVE时执行HIVE的操作发现一问题,现记录下来。

在hive中,创建数据库,创建数据表,插入数据时,发现并调用mapreduce和yarn,插入操作未成功。如下图:

map和reduces未启动。

解决:

(1)验证hadoop安装后,mapreduce是否能运行。

yarn jar  hadoop-mapreduce-examples-3.1.3.jar wordcount /ls/1.txt   /ts

利用自带的词频统计功能,验证能否正确运行。

若出现上面提示错误。

则在mapreduce-site.xml中添加提示中出现的配置信息即可。如:


<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop3.1</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop3.1</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop3.1</value>
</property>

再次验证。

(2)到hive中再次执行插入操作验证。

  • 16
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mapreduce面试主要涉及以下几个方面的内容: 1. 基础设置配置:包括mapTask的一些基础设置配置,例如环型缓冲区的内存值大小、溢写的比例、溢写数据目录以及一次合并多少个溢写文件等。 2. shuffle阶段:shuffle是MapReduce的核心,指的是从Map产生输出到Reduce获取数据之间的过程。在面试中可能会涉及shuffle的具体工作原理和运行流程。 3. Map数量和Reduce数量的决定和配置:Map数量和Reduce数量的设置取决于输入数据的大小、处理任务的复杂度和可用的计算资源等因素。在面试中可能会被问到如何根据实际情况来设置Map和Reduce的数量。 4. Combiner的使用场景和不适用场景:Combiner是用于在Map阶段输出结果之后,在数据传输到Reduce之前进行本地合并的机制。在面试中可能会被问到在什么情况下需要使用Combiner以及什么情况下不需要使用Combiner。 5. MR运行流程解析:面试中可能会要求解析MapReduce的整个运行流程,包括输入数据的切片、Map阶段的处理、shuffle阶段的数据传输和排序、Reduce阶段的处理等。 以上是一些常见的mapreduce面试内容,希望对你有帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Hadoop MapReduce 保姆级吐血宝典,学习与面试必读此文!](https://blog.csdn.net/helloHbulie/article/details/120948521)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [MapReduce面试题(详解)](https://blog.csdn.net/weixin_51194902/article/details/116463079)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值