Ubuntu中pyspark运行时Spark-class报错

最新推荐文章于 2023-10-08 15:11:16 发布
最新推荐文章于 2023-10-08 15:11:16 发布
阅读量645 收藏
点赞数
分类专栏： 大数据 文章标签： spark hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/joker1911/article/details/106595569
版权

当时以为是JAVA_HOME没有配置好，反复检查后发现JAVA_HOME并没有问题，于是更改了Spark-class的配置文件有关JAVA_HOME的部分，直接改为了Java的路径，再次运行发现没有第71行的报错了，但是又来了个99行的报错，再次寻找有关Java的部分，没有发现，只好还原Spark-class文件，改用Ubuntu系统的软连接功能

ln -s 原文件 需要连接到的文件

由于提到的文件夹大概率不存在，你需要用mkdir创建一下，存在权限问题的话，用chown更改一下权限

于是我的命令就是

ln -s /usr/lib/jvm/default-java  /opt/jvm/default-java

运行一下程序成功

JOKER1911
关注
专栏目录
spark-streaming连接kafka报错 java.lang.NoClassDefFoundError: kafka/common/TopicAndPartition
VictorKa的博客
05-12 1792
等
Spark-2.4.0安装教程（附scala、spark资源）
weixin_45380671的博客
01-14 2078
安装Scala、安装Spark、运行Spark官方示例SparkPi
spark-class:行71: /xx/xx/xxx: 没有那个文件或目录 /xx/xx/xxx:行96: CM
juggle_gap_horse的博客
04-15 5417
在linux系统上配置spark出现的问题，如下： 显然，问题出现在/export/server/jdk/bin/java 目录，spark-class没有找到jdk环境。可是jdk安装了呀，于是查看文件目录确认发现果然不对劲： 原来是没上软链接，那好解决，ln -s 补上软链接就行了！ 开启spark，success！ ...
spark 启动报错 ClassNotFoundException
qq_21896123的博客
05-06 3482
spark 程序启动命令如下 spark-submit --class com.test.sparkjob.order.OrderFullLoad /Users/jisen/Desktop/spark-job-1.0.jar --jars /Users/jisen/Desktop/terajdbc4.jar 启动后报错如下： 这个问题困扰我很久，在我无助时请教了小白同学，他让我试一下如下命令： spark-submit --jars jars/tlddderajdbc4.jar --class co
Ubuntu中的spark启动的报错解决
Rainnin123的博客
03-08 1029
因为在虚拟机的Ubuntu学习中要用使用spark，但我在spark安装和使用中出现了启动失败的问题，以下是解决方法。
Ubuntu 执行spark程序异常（Python版本问题）
zyj20200的博客
08-15 1561
Ubuntu下，在pycharm中执行spark程序，出现如下异常信息： org.apache.spark.api.python.PythonException: Traceback (most recent call last):   File "/home/z/module/spark-2.3.1-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/w...
pyspark 浅析
rav009的专栏
07-16 1573
Spark的scala也好, 还是pyspark也好, 它们的编程思想都是函数式编程, 关于函数式编程的解析可以看这篇文章: http://www.ruanyifeng.com/blog/2012/04/functional_programming.html 函数式编程只是返回新的值, 不修改原有的值, 所以在对RDD操作时一定要注意, 不要用对RDD操作以后, 引用了老的变量. impo...
和submit_Spark源码分析之Spark-submit和Spark-class
weixin_35691526的博客
12-18 189
Spark-submitif [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)" fi # disable randomized hash for string in Python 3.3+ export PYTHONHASHSEED=0 exec "${SPARK_HOME}"/b...
Docker构建学习环境(3)-部署Spark并提交WordCount任务
houwanfeimark的专栏
05-01 979
Spark概述 Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spar...
【大数据----Spark】Spark入门教程[2]
Sunny
05-31 697
本教程源于2016年3月出版书籍《Spark原理、机制及应用》 ，在此以知识共享为初衷公开部分内容，如有兴趣，请支持正版书籍。 Spark为使用者提供了大量的工具和脚本文件，使得其部署与开发变得十分方便快捷，本章将会分别从运行（含集群部署）、开发以及源码编译三个角度，来介绍Spark相关环境的具体配置流程。对于初次接触Spark的读者，建议仅需阅读运行环境部署和开发环境部署两节内容，...
Spark SQL 日志处理实战，日志文件20000行
12-16
Spark SQL 日志处理实战，日志文件20000行；Spark SQL 日志处理实战，日志文件20000行；
spark远程调试代码报错 StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.126.128:7077
cyssxt的博客
06-19 1万+
一、分析原因：查看服务器的远程端口绑定ip 这边显示绑定的是127.0.0.1：7077表示只能本地访问 正确的访问方式为：局域网Ip:7077 二、查看启动脚本设置： 分析脚本可以看到这边启动master和slaves分别是两个脚本，由于我们是通过start-master.sh去运行的，我们查看start-master.sh 通过start-master可以发现
export/server/jdk/bin/java: No such file or directory CMD: bad array subscript Java gateway process
最新发布
weixin_53359823的博客
10-08 557
window系统下和linux下的java环境冲突了，在python代码指定java的环境变量即可。
【Spark源码】spark-submit和Spark-class
陈小哥cw
03-24 3134
首先从启动脚本开始看： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/jars/spark-examples_2.12-3.0.0.jar \ 10 启动脚本调用的是spark-submit，所以直接看bin/spark-submit脚本，跟spark-shell一样，先检查是否设置了${SPARK_HOME},然后启动spa
Spark-class启动脚本解读
weixin_30918415的博客
05-04 352
#!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additi...
spark 使用中会遇到的一些问题及解决思路
热门推荐
xiao_jun_0820的专栏
04-14 6万+
7 内存溢出问题     在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题： Exception in thread "Thread-2" java.lang.
安装spark报错java路径不对
干货
02-26 3162
/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No such file or directory 正确的路径在/Library/Java/JavaVirt...
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3218
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
ubuntu中pyspark怎么配置
05-21
在Ubuntu中配置PySpark需要以下步骤： 1. 安装Java PySpark需要Java环境，所以需要安装Java。可以通过以下命令安装： ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 安装Spark 可以从Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值