SS00001.olap——|服务启动导航.v01|————|Hadoop.v01|yarn调整map&reduce参数.v01|

yanqi_vip

已于 2022-04-18 14:59:29 修改

阅读量174

点赞数

分类专栏： developv005——olap 文章标签：大数据 hadoop java spark hive

于 2022-04-17 16:13:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124240491

版权

本文主要介绍了在Hadoop环境中，针对YARN服务如何进行map和reduce任务参数的优化调整，以提升大数据处理效率。内容包括报错处理及多种解决方案。

摘要由CSDN通过智能技术生成

附录一：报错处理一：

### --- 报错现象：
~~~     卡在这个位置不会动，数据没有加载
~~~     在执行这个的时候，把history打开，用于监控错误信息

[root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21
Cannot run job locally: Input Size (= 368902544) is larger than hive.exec.mode.local.auto.inputbytes.max (= 134217728)
2021-10-02 20:14:22,095 Stage-1 map = 0%,  reduce = 0%

附录二：报错处理二：

### --- 报错现象
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched: 
Stage-Stage-1:  HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

### --- 通过historyserver查看报错现象
Error：Java