执行MapReduce相关错误解决

hive版本：2.3.4

hadoop版本：3.2.0

1、进行MapReduce操作时报错：

错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster；

(1)、执行hadoop classpath

(2)、修改yarn-site.xml后重启。

 

2、Unable to determine Hadoop version information(无法确定Hadoop版本信息)

(1)、执行hadoop version获取hadoop版本

(2)、修改profile，添加HADOOP_VERSION=对应的版本号

 

3、执行shell脚本中if [ $# == 1 ]; then中的==执行无效

    用-eq替代==，-eq代表等于，如if [ $# -eq 1 ]; then

 

4、shell脚本中字符串截取时（${line:0:4}）报错：Bad substitution

    执行命令sh log.sh换成bash log.sh

 

5、shell脚本中执行命令：

    报错：Hive FAILED: ParseException line 2:0 cannot recognize input near 'data' in column specification

解决方法：用`(反引号)包裹