报这个错误说明你的hive使用的版本较低,hive命令脚本任然是Spark2.0之前的结构
Spark2.0之后没有lib这一文件了,改成了jars文件,因此我们编辑hive命令脚本找到如下内容
# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
把里面的目录格式手动更改为如下目录即可
# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi