ls: 无法访问/usr/local/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

已于 2022-03-17 11:55:11 修改
阅读量2.6k 收藏 11
点赞数 2
分类专栏： 日常踩坑记 文章标签： spark jar hive
于 2022-03-17 11:37:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45682261/article/details/123546173
版权

原因：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

如何解决这问题？

cd  /usr/local/hive/bin

看上图有个hive

vi hive

\

就是敲一个/sparkAssemblyPath定位好，

把${SPARK_HOME}/lib/spark-assembly-*.jar替换成${SPARK_HOME}/jars/*.jar

 重新启动hive就没报错了

 

之前其实发过这个内容了

有关hive搭建涉及到的bug_冰糖雨的博客-CSDN博客

南潇如梦
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark如何解决文件不存在_spark任务提交时绝对路径添加额外配置文件提示找不到路径...
weixin_39620037的博客
12-22 1062
spark任务提交，添加额外配置文件时用绝对路径读取不到上传的文件。/usr/local/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --name str_platform_test_80 --master yarn --deploy-mode client --executor-cores 1 --num-executors 2 --executor-m...
ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
data_curd的博客
11-04 856
连接hive数仓时，输入这个命令：!connect jdbc:hive2://xxxxx:10000 报错：ls: 无法访问/software/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 这时，打开/hive/bin/hive文件，把第111行到第116行的字段全部注释下。 # add Spark assembly jar to the classpath #if [[ -n "$SPARK_HOME" && !("$HIVE_SKIP_SPARK_
hive报错-ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Exception in thread “main“
weixin_63507910的博客
04-03 507
ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.j
初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No su
倩mys的博客
10-23 1984
刚刚安装好hive,进行第一次启动 [hadoop@ltt1 bin]$ ./hive ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory which: no hbase in (/home/hadoop/hive110/bin:/h...
Spark-Hadoop
WSKINGS的专栏
11-25 428
Hadoop搭建 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html http://hadoop.apache.org/docs/r2.6.2/hadoop-project-dist/hadoop-common/SingleCluster.html HDFS使用 http://hadoop.apac
CentOS 安装软件出现错误：/lib/ld-linux.so.2: bad ELF interpreter 解决
09-15
主要介绍了CentOS 安装软件出现错误：/lib/ld-linux.so.2: bad ELF interpreter 解决的相关资料,需要的朋友可以参考下
centos安装jdk1.8时出现没有/lib/ld-linux.so.2:这个文件的原因分析
01-10
原因是：没有那个文件或目录，找了很久发现需要安装glibc.i686 使用命令：sudo yum install glibc.i686 再次查看版本： 总结 以上所述是小编给大家介绍的centos安装jdk1.8时出现没有/lib/ld-linux.so.2:这个文件...
解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够问题
08-25
在使用Linux系统时，有时会遇到执行特定程序时出现“权限不够”的错误，例如在尝试运行Java可执行文件时，可能会遇到"BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够"这样的提示。这个错误通常意味着当前用户...
解决gedit: symbol lookup error: /home/xxx/libgobject-2.0.so.0: undefined symbol: g_date_copy问题
01-20
如果设置成功，输出应显示gedit已链接到/usr/lib/x86_64-linux-gnu/目录下的libgobject-2.0.so.0。 完成以上步骤后，重新尝试通过终端启动gedit，错误应该已经被消除，gedit可以正常运行。此案例强调了在多版本库...
spark-assembly linux下运行local模式缺失包
04-12
spark streaming job 打成jar包，在linux系统下运行local模式，报错： 18/04/12 14:14:18 ERROR SparkContext: Error initializing SparkContext. com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version' at com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:145) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:151) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:159) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:164) at com.typesafe.config.impl.SimpleConfig.getString(SimpleConfig.java:206) at akka.actor.ActorSystem$Settings.<init>(ActorSystem.scala:169) at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:505) at akka.actor.ActorSystem$.apply(ActorSystem.scala:142) at akka.actor.ActorSystem$.apply(ActorSystem.scala:119) at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:121) at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53) at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:52) 补全spark-assembly jar包解决问题。 java -cp ./wd:./spark-assembly.jar:./spark-streaming-job.jar job-main
解决jar发布时的出现D:/export-0.0.1-SNAPSHOT.jar!/BOOT-INF/classes!/static
09-04
springboot获取根目录及资源路径及解决jar发布时的出现D:/export-0.0.1-SNAPSHOT.jar!/BOOT-INF/classes!/static，采用该工具类可在发布成jar时访问到资源文件路径地址
HIVE ls: cannot access /usr/spark/lib/spark-assembly-*.jar: No such file or directory
80后大叔爱学习
10-08 1693
找到/hive/bin进行编辑vi hive
linux环境下解决“没有那个文件或目录”的问题
热门推荐
YYaomiao的博客
10-25 3万+
安装交叉编译工具链、没有那个文件或目录
初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No su...
weixin_30371469的博客
09-26 337
>>提君博客原创 http://www.cnblogs.com/tijun/ << 刚刚安装好hive,进行第一次启动 提君博客原创 [hadoop@ltt1 bin]$ ./hive ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No s...
ls: 无法访问/opt/module/spark-2.4.7-bin/lib/spark-assembly-*.jar: 没有那个文件或目录
窦永厚
03-11 434
ls: 无法访问/opt/module/spark-2.4.7-bin/lib/spark-assembly-*.jar: 没有那个文件或目录 vim hive 将/lib/spark-assembly-*.jar`替换成/jars/spark-*.jar`，就不会出现这样的问题 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/spark-*.jar`
Hive报错笔记-ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
阿倩要努力啊
02-26 1605
集群搭建好，环境变量也都配置好，使用hive命令，出现 ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 [root@hadoop bin]# hive ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 原因： sp...
启动hive报错：ls: 无法访问/opt/module/spark-yarn/lib/spark-assembly-*.jar: 没有那个文件或目录
qq_39954916的博客
09-02 899
spark-2.1.1-bin-hadoop2.7.tgz和apache-hive-1.2.1-bin.tar.gz 环境中spark-yarn下每次进行hive --service metastore启动的时候，总是会报一个小BUG。 无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。 而这一行究竟是怎么回事，网上没有任何有关的资料。 没办法，只好一步一步分析，终于找到问题的症结。 其主要的..
shell脚本2
weixin_45313658的博客
09-18 506
Shell脚本2 测试和判断 1、测试 程序运行中经常需要根据实际情况来运行特定的命令或代码块。比如，判断某个文件或目录是否存在，如果不存在，则需要创建。例如： [root@shell ~]# ls /var/log/messages /var/log/messages [root@shell ~]# echo $? 0 [root@shell ~]# ls /var/log/messages004 ls: 无法访问/var/log/messages004: 没有那个文件或目录
ls: cannot access '/usr/local/spark/lib/spark-assembly-*.jar': No such file or directory
最新发布
06-03
这个错误提示是因为在你运行了 `ls` 命令之后，发现 `/usr/local/spark/lib/` 目录下并没有 `spark-assembly-*.jar` 这个文件。你可以确认一下这个文件是否存在，或者是否路径是否正确。如果你确定这个文件不存在，那么你可能需要重新安装 Spark 或者检查你的路径是否正确。 在启动 Hive 时，你需要先启动 Spark，然后才能启动 Hive。你可以先尝试启动 Spark，然后再启动 Hive。在启动 Spark 时，需要设置 `SPARK_HOME` 环境变量，例如： ``` export SPARK_HOME=/usr/local/spark ``` 然后再启动 Spark： ``` $SPARK_HOME/sbin/start-all.sh ``` 启动成功后，再启动 Hive： ``` $HIVE_HOME/bin/hive ``` 这样应该就可以正常启动 Hive 了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值