spark版本和jdk版本报错

最新推荐文章于 2024-03-30 21:11:28 发布
最新推荐文章于 2024-03-30 21:11:28 发布
阅读量2.7k 收藏
点赞数 2
分类专栏： scala 文章标签： spark和jdk版本冲突
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43806056/article/details/89413498
版权

报错信息：
java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0
解决办法：
helloword.scala(准备运行的代码)->run configuration->JRE->alternate jre更换为1.8
问题解决了，谢谢

小卢的博客
关注
专栏目录
Ubuntu18.04 Spark2.4.7环境搭建+使用说明
qq_36634690的博客
10-20 437
Ubuntu18.04 Spark2.4.7使用说明Ubuntu18.04上Spark2.4.7的搭建日常使用 Ubuntu18.04上Spark2.4.7的搭建 参考了这个，好使的. 我的框架是jdk1.8.0_261，hadoop2.7.7, spark2.4.7, zeppelin0.8.1 日常使用 因为在自己的使用过程中，spark有的时候没有办法正常使用，不想敲一半就崩掉，所以我一般按照下面的流程走一遍。 算是笨办法哇。 确认java java -version 如果没有显示java
spark需要 java的版本_如何为Spark Application指定不同的JDK版本详解
weixin_27215403的博客
02-25 1242
前言随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果H...
Spark程序里使用指定的JDK版本
运维老兵的专栏
04-24 2342
1.客户端和yarn集群都部署了相同版本的JDK 如客户端和yarn集群的JDK均安装在 /usr/java/jdk1.8.0_25目录 通过参数设置 spark.executorEnv.JAVA_HOME和spark.yarn.appMasterEnv.JAVA_HOME，这分别为 Spark 的 Executor 和 Driver 指定 JDK 路径，如下： $SPARK_H...
spark版本与java版本报错问题解决
xinfeini9494的博客
07-14 5119
安装完spark后运行出现这样的错误： Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0 at java.lang.ClassLoader.defin...
spark环境搭建中的各种版本匹配问题
A_Ashely的博客
04-23 3072
1、JDK 与 scala 版本匹配问题 我这里安装的是jdk11，所以scala推荐装2.13.5、2.12.13、2.11.12，考虑到与spark的兼容问题，这里安装2.11.12版本 2、 spark 与 scala 版本匹配问题 注意： Spark3.0+ 基于 Scala2.12 spark 3.0+下载地址 ...
zeppelin报错jdk版本低
陈旧末的博客
09-17 681
报错信息 org.apache.zeppelin.interpreter.InterpreterException: java.io.IOException: Fail to launch interpreter process: Apache Zeppelin requires either Java 8 update 151 or newer at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.open(RemoteInterpre
Spark 开发环境
最近学习目标：MySQL，Redis
04-22 3620
一、安装JDK 本文写于2022年4月，此时最新版的JDK已经更新到了JDK17——下载地址。为了满足开发人员的需要，Oracle仍然提供了JDK8和JDK11可供下载，下载链接也在上面的网站上，只需要把页面下滑即可。 注：由于需要配置Spark，但Spark与较新的JDK兼容性不好，如果使用最新的JDK，后序运行Spark过程中会出现错误。因此，建议初学者安装JDK8即可。 下载完成后即可安装。但需要注意的是，需要为JDK设置三个环境变量PATH、JAVA_HOME、CLASSPATH，网上已经有很多
hive报错 spark_Hive on Spark安装配置详解（都是坑啊）
weixin_39807541的博客
12-20 867
简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均...
Spark报错与日志问题查询指南
05-29 1115
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。...
如何为Spark Application指定不同的JDK版本详解
08-28
主要给大家介绍了关于如何为Spark Application指定不同的JDK版本的相关资料，文中通过示例代码将解决的方法介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友下面来随着小编一起学习学习吧。
org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0
一杯派蒙的博客
06-28 1189
java 版本不对，导致报错 2018-06-28 08:02:04,475 : INFO : SparkContext : logInfo : Running Spark version 2.2.0 Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/B...
Spark 之 org.apache.spark.network.util.JavaUtils
zhixingheyi_tian的博客
10-22 940
spark 递归删除目录的方法，会尝试两种做法 若第一种deleteRecursivelyUsingUnixNative不成功，会立即尝试第二种 // org.apache.spark.network.util.JavaUtils.java /** * Delete a file or directory and its contents recursively. * Don't fo...
近期使用pyspark遇到的问题以及解决办法
我要出家当道士
04-20 1768
近期使用pyspark遇到的问题以及解决办法
ubuntu下Hadoop以及Spark的伪分布式安装：一
最新发布
03-30 1025
很多初学者在安装的时候会碰到各种各样的问题，尤其各种版本的搭配问题。所以特意做一个初步安装的引导，希望大家都能一次调试出来。经过测试，jdk11 + scala2.13.13 + hadoop3.3.6+spark3.5.1，这是暂时来说scalsa2能支持的最完美的搭配。Hadoop能支持到的java最完美的最后版本为jdk11，后面的版本也可以使用，但是java 11后面的版本去掉了javax.activation，导致无法浏览服务端的文件夹以及文件。
Spark SQL连接Hive的一些常见报错
wufabao的博客
02-05 1万+
错误一：Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars. 解决方案：将JDK11切换为JDK8，问题解决。JDK11和Spark/Hive应该存在版本兼容性问题 错误二：连接成功后只显示一个default数据库 解决方案：把HIVE_HOME/conf目录下的hive-site.xml文件拷贝到本地IDEA的maven项目的resources目录下 完美解决
在IDEA运行spark程序（搭建Spark开发环境）
热门推荐
wanglingli95的博客
11-01 1万+
在IDEA中运行spark程序
Spark跟jdk14版本不匹配问题，运行Word Count出现问题
qq_44655145的博客
05-11 633
报错:Unsupport class file major version 58 报错的图:![遇到错误，返回查看Spark版本，使用命令bin/spark-shell 所以，已经安装了超过jdk1.8以上的版本，如jdk10 11 12 13以及我安装的最新jdk14都有可能报错这个问题。我们第一想法可能是卸载jdk14重装jdk1.8。但是仔细思考，jdk14中包含jdk1.8,我们只需把之前安装jdk时的java_home地址改成jdk1.8的即可。 把这个jdk名称复制，使用vim ~/. b
获取最新JDK版本下载链接
"提供JDK最新版本的下载链接，包括JDK 12和JDK 13，适用于Windows x64系统。" 在Java开发领域，Java Development Kit（JDK）是必不可少的工具，它包含了Java运行环境（JRE）和一系列用于开发Java应用程序的工具。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值