python启动spark程序失败问题

最新推荐文章于 2022-03-23 15:31:57 发布
最新推荐文章于 2022-03-23 15:31:57 发布
阅读量483 收藏
点赞数
分类专栏： 异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tylgdx507/article/details/106710020
版权

pyspark.sql.utils.IllegalArgumentException: 'Unsupported class file major version 56'

 

经查后需要将JAVA 版本改为1.8版本，但是改成后还是不能运行程序，在pycharm的terminal中输入java -version后显示版本是依然是12.0的java版本，于是决定修改参数

点击加号手动增加就好

忘了说，我的spark版本是2.1.1

 

Tylgdx507
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pyspark.sql.utils.IllegalArgumentException: u'requirement failed'
u014195802的博客
01-10 2882
19/01/10 17:18:35 WARN KMeans: The input data is not directly cached, which may hurt performance if its parent RDDs are also uncached. Traceback (most recent call last): File “/home/work/XXX/XXX/XXX/X...
PySpark报错pyspark.sql.utils.IllegalArgumentException: 'Unsupported class file major version 56'
给我一点温度
08-19 1万+
今天遇到下面的报错： py4j.protocol.Py4JJavaError: An error occurred while calling o41.collectToPython. : java.lang.IllegalArgumentException: Unsupported class file major version 56 在网上查相似的问题，应该是JDK版本的原因。...
pythonspark任务_Spark-Spark任务中的常见错误
weixin_29323551的博客
02-03 1886
记录遇到过的Spark各种错误1. Too many open fileslinux 中 一切皆文件， Too many open files 有可能是file， 也有可能是socket。 在这里一般是file， 在HDP集群上， 需要在ulimit里设置最大文件打开数量。 一般建议设置为10240 ， 默认是1024 。2. OOMSpark需要有两个关于memory相关的设置项spark.dr...
启动spark的pyspark命令窗口时报错-pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.
helloxiaozhe的博客
09-02 1万+
启动spark的pyspark命令窗口时报错 pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"
pyspark使用流程以及遇到的问题（windows版）
OWBY_Phantomhive的博客
03-23 7262
本文所使用方式为在windows独立环境中进行pyspark的开发，如需链接hdfs还是要借助虚拟机的，主要包含以下几个步骤 一、windows中的环境配置 1、java的安装 这里建议大家选择版本较低的java版本，如果版本较高可能会出现不兼容问题，Java和hadoop的安装流程我之前的文章里面有，大家可以看一下，这里附上链接 hadoop安装 2、hadoop的安装 hadoop安装 链接同上 3、scala的安装 先下载scala的压缩包,依然是官网地址,建议2.11的版本,因为后续我们使用的s
python启动应用程序和终止应用程序的方法
09-19
今天小编就为大家分享一篇python启动应用程序和终止应用程序的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python实现启动一个外部程序,并且不阻塞当前进程
01-19
python可以使用os模块中的system函数来启动外部程序。 Windows平台下使用start命令就可以不阻塞当前进程的执行程序，测试代码如下： import os os.system(‘start calc’) 补充知识：Python：启动大量子...
Python+Spark 2.0+Hadoop机器学习与大数据
06-08
Python+Spark 2.0+Hadoop机器学习与大数据实战完整高清带书签的PDF压缩包
Python基于Spark的电影推荐系统.zip
06-05
使用python爬取数据并采用Django搭建系统的前后台，使用Spark进行数据处理并进行电影推荐。
python+spark+大数据
最新发布
03-31
作业：Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 Bob,DataBase,95 Bob,Algorithm,65 Bob,DataStructure,85 Jane,DataBase,99 ...
Unsupported major.minor version 51.0
06-08
Unsupported major.minor version 51.0
spark 2.X 疑难问题汇总
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
java.lang unsupported classversion解决方法
热门推荐
xiongyouqiang的博客
01-30 3万+
现象 经过一个月的当当对接，总算是可以上线了，昨天晚上把项目打包发布到正式环境后，配置后各种参数后，执行考拉抓单任务，发现了一个奇怪的现象，任务一直卡住，此时觉得奇怪，点开任务日志看到下面的情况   原来是报 java.lang unsupported classversion 异常。 原因分析&解决方法   凭借自己的经验，一眼就看出是jdk版本问题，应该是高版本编译的class
spark | 学习记录： 启动Scala、python
求知：数据科学家之路
02-16 1341
初学者，记录学习spark的最基本东西,不忘记 在spark下启动scala：./bin/spark-shell测试例子：sc.parallelize(1 to 1000).count()在spark中启动python：./bin/pyspark测试例子：sc.parallelize(range(1000)).count()
Python Spark的介绍与安装
SanFancsgo的博客
09-07 4784
Spark的Cluster模式架构图 摘自Apache官网： 其中 DriverProgram为设计的Spark程序，在Spark程序中必须定义SparkContext（开发Spark应用程序的入口）。 SparkContext通过Cluster Manager管理整个集群，集群中包含多个Worker Node，在每个Worker Node中都有Executor负责执行任务 Spa...
pyspark.sql.utils.AnalysisException: u‘java.lang.IllegalArgumentException: Wrong FS
妙妙的博客
09-06 2122
问题 用pyspark写了程序，但是在跑的过程中报 pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException: Wrong FS: hdfs:// 现有代码的配置信息 spark = SparkSession.builder.appName(spark_application_name). \ config('spark.port.maxRetries', 500). \ config('spark.d
python启动失败
10-18
Python启动失败可能有多种原因，以下是一些常见的原因和解决方法： 1. Python版本不兼容：如果你的代码是用Python 2.x编写的，但是你的系统只安装了Python 3.x，那么你的代码就无法运行。解决方法是安装正确的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值