缘由:使用hive on spark 进行hivesql操作的时候报以下错误:
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
查了一堆资料之后,有的说hiveException 30041是内存不足的原因,有的说是yarn-site.xml内存配置的问题,试过之后都不行,于是决定重新编译以下spark。
------------------------------------------------------
1. 安装maven
// 1)将安装包解压到指定目录
[hadoop@hadoop01 apache-maven-3.6.0]$ tar -zxf /opt/maven/apache-maven-3.5.3-bin.tar.gz -C /home/hadoop/apps
// 2)配置maven环境变量,并测试maven是否安装成功
[hadoop@hadoop01 apache-maven-3.6.0]$ vi ~/.bash_profile
# maven
export MAVEN_HOME=/home/hadoop/apps/apache-maven