cannot access /opt/spark/lib/spark-assembly-*.jar: No such file or directory
问题叙述
安装好spark后,启动hive报错,内容如下:
原因
spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
解决办法
打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如下一行
将其改为
sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
问题解决