在安装hive和整合spark的时候出现了一个这样一个不痛不痒的问题。
ls: 无法访问/opt/module/lib/spark-assembly-*.jar` 没有那个文件或目录
原因是因为spark在座升级以后,将大的jar转化为了一个一个小的jar,所以在使用lib/spark-assembly-*.jar`去查找的时候找不到的原因。
修改hive文件。
在hive的安装目录下面,找到bin目录,在bin下面找到hive,编辑hive,修改即可。具体流程如下:
vim /opt/module/hive/bin/hive
上面是/opt/module/这是hive的安装目录,因人而异,找到自己的安装目录。
if [[ -n "$SPARK_HOME" ]]
then
sparkAssemblyPath=`ls ${SPARK_HOME}/jars/spark-*.jar`
CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi
找到要修改的地方,将
/opt/module/lib/spark-assembly-*.jar`
修改为
/opt/module/jars/spark-*.jar`
即可。