Ubuntu中pyspark运行时Spark-class报错

最新推荐文章于 2024-04-30 22:35:32 发布
最新推荐文章于 2024-04-30 22:35:32 发布
阅读量574 收藏
点赞数
分类专栏： 大数据 文章标签： spark hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/joker1911/article/details/106595569
版权

当时以为是JAVA_HOME没有配置好，反复检查后发现JAVA_HOME并没有问题，于是更改了Spark-class的配置文件有关JAVA_HOME的部分，直接改为了Java的路径，再次运行发现没有第71行的报错了，但是又来了个99行的报错，再次寻找有关Java的部分，没有发现，只好还原Spark-class文件，改用Ubuntu系统的软连接功能

ln -s 原文件 需要连接到的文件

由于提到的文件夹大概率不存在，你需要用mkdir创建一下，存在权限问题的话，用chown更改一下权限

于是我的命令就是

ln -s /usr/lib/jvm/default-java  /opt/jvm/default-java

运行一下程序成功

JOKER1911
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-2.1.0-bin-without-hadoop版本的压缩包，直接下载到本地解压后即可使用
07-02
在Ubuntu里安装spark，spark-2.1.0-bin-without-hadoop该版本直接下载到本地后解压即可使用。 Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模...
ubuntu安装openssh-server报错解决
05-06
ubuntu安装SSH报错解决，原创文章
failed to launch: nice -n 0 /home/hadoop/Apps/spark/bin/spark-class org.apache.spark.deploy.master.M
qq_39321513的博客
05-16 1353
[root@mamin sbin]# ./start-all.sh starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/Apps/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-mamin.out failed to launch: nice -n 0 /home/hadoop/Apps/spark/bin/spark-class org.a
Ubuntu 执行spark程序异常（Python版本问题）
zyj20200的博客
08-15 1473
Ubuntu下，在pycharm中执行spark程序，出现如下异常信息： org.apache.spark.api.python.PythonException: Traceback (most recent call last):   File "/home/z/module/spark-2.3.1-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/w...
spark 启动报错 ClassNotFoundException
qq_21896123的博客
05-06 3409
spark 程序启动命令如下 spark-submit --class com.test.sparkjob.order.OrderFullLoad /Users/jisen/Desktop/spark-job-1.0.jar --jars /Users/jisen/Desktop/terajdbc4.jar 启动后报错如下： 这个问题困扰我很久，在我无助时请教了小白同学，他让我试一下如下命令： spark-submit --jars jars/tlddderajdbc4.jar --class co
Spark-遇到的坑-启动spark报错
热门推荐
a1032818891的博客
07-26 1万+
1.解决措施： Please instead use:  - ./spark-submit with --num-executors to specify the number of executors  - Or set SPARK_EXECUTOR_INSTANCES  - spark.executor.instances to configure the number of instanc...
spark-class:行71: /xx/xx/xxx: 没有那个文件或目录 /xx/xx/xxx:行96: CM
juggle_gap_horse的博客
04-15 4893
在linux系统上配置spark出现的问题，如下： 显然，问题出现在/export/server/jdk/bin/java 目录，spark-class没有找到jdk环境。可是jdk安装了呀，于是查看文件目录确认发现果然不对劲： 原来是没上软链接，那好解决，ln -s 补上软链接就行了！ 开启spark，success！ ...
ubuntu-14.04.5-desktop-amd64.iso.zip
09-04
ubuntu-14.04.5-desktop-amd64 官方下载版本
wsl-update，用于windows中Ubuntu子系统报错解决
04-19
wsl-update，用于windows中Ubuntu子系统报错解决
spark-2.4.5-bin-hadoop2.7.tar.gz
06-04
spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu，Redhat等linux系统，解压即可安装，解压命令：tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst（解压后存放路径）
Spark SQL 日志处理实战，日志文件20000行
12-16
Spark SQL 日志处理实战，日志文件20000行；Spark SQL 日志处理实战，日志文件20000行；
spark-2.4.0-bin-hadoop2.7.zip
02-22
官网的文件下载速度如果慢的话，可以用这个，这个下载速度会快一点
Ubuntu中的spark启动的报错解决
Rainnin123的博客
03-08 860
因为在虚拟机的Ubuntu学习中要用使用spark，但我在spark安装和使用中出现了启动失败的问题，以下是解决方法。
Spark环境变量
m0_52495335的博客
12-12 931
usr/local/spark/bin/spark-class:行71: /usr/lib/jvm/default-java/bin/java: 没有那个文件或目录
PySpark安装及WordCount实现（基于Ubuntu）
qq_43629945的博客
08-21 1512
Hadop伪分布式+PySpark local+词频统计WordCount案例
ubuntu安装pyspark
s_daqing的博客
07-23 1535
1、安装Java 8安装 sudo apt-get update sudo apt-get install openjdk-8-jdk java -version 安装成功后，会显示如下画面： 2、安装Scala wget https://downloads.lightbend.com/scala/2.12.14/scala-2.12.14.tgz sudo mv scala-2.12.14 scala # 重命名 Scala 目录 sudo mv scala /us
Spark SQL编程初级实践
最新发布
充满焦虑的大学生
04-30 529
【代码】Spark SQL编程初级实践。
数据仓库 vs 数据湖 vs 湖仓一体：如何基于自身数据策略，选择最合适的数据管理方案？
Tapdata 技术博客
04-30 557
一文读懂数据仓库、数据湖、湖仓一体的区别，找准更适合的数据策略。结合大型视频流平台、电商、医疗等行业场景深入剖析。
Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版 第七章 Spark RDD编程实验
qq_64684039的博客
04-30 221
注意：需要先在hadoop分布式文件系统中创建文件1.先在本地文件系统创建data.txt文件2.启动hadoop分布式文件系统3.上传本地文件data.txt到hadoop分布式文件系统查看分布式文件系统中是否存在data.txt。
nvidia-smi报错
10-05
nvidia-smi报错的原因是无法与NVIDIA驱动程序进行通信。请确保已安装并运行了最新的NVIDIA驱动程序。如果仍然无法修复，或者在/usr/src目录中找不到显卡驱动程序，您可以尝试卸载所有显卡驱动程序然后重新安装。您可以使用以下命令来卸载所有显卡驱动程序并自动安装最新的驱动程序： sudo apt-get remove --purge nvidia* sudo ubuntu-drivers autoinstall 如果您想查看报错信息，请打开以下文件： sudo gedit /var/lib/dkms/nvidia/<usr_name>/build/make.log

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值