Spark运行在JDK 17上的参数配置

已于 2023-08-14 09:27:48 修改
阅读量1k 收藏
点赞数
文章标签： spark hadoop 大数据
于 2023-08-14 09:23:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23257429/article/details/132269143
版权
本文介绍了在将Spark应用迁移到JDK17时，需要设置特定的参数，如JAVA_HOME路径，启用ZGC垃圾收集器，以及修复Hive元数据服务异常的代码调整。特别提到了`Thrift_URI_SELECTION`的配置和HiveMetaStoreClient类的打包要求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在将Spark应用程序迁移到JDK 17并进行集成时，需要进行一些额外的参数配置。以下是需要指定的参数：

--conf spark.yarn.appMasterEnv.JAVA_HOME=/opt/java17 \
--conf spark.executorEnv.JAVA_HOME=/opt/java17 \
--conf spark.driver.extraJavaOptions="-XX:+UnlockExperimentalVMOptions -XX:+UseZGC --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.invoke=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-ope
最低0.47元/天 解锁文章
ThomasgGx
关注
Spark 3.5.1 升级 Java 17 异常 cannot access class sun.nio.ch.DirectBuffer
敏叔
06-02 3382
使用Spark 3.5.1 升级到Java17的时候会有一个异常，异常如下。
spark需要 java的版本_如何为Spark Application指定不同的JDK版本详解
weixin_27215403的博客
02-25 1332
前言随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果H...
spark3.X版本和java17版本不兼容导致的问题
2301_79825219的博客
12-03 749
解决spark和java版本不兼容问题
spark大数据环境搭建
Gx_2647664843的博客
02-26 1395
Spark是一个开源的分布式计算框架，最初在加州大学伯克利分校AMPLab开发。它提供了高效的数据处理能力，可以在大规模数据集上进行快速计算和分析。Spark支持多种编程语言，包括Java、Scala和Python，同时提供了丰富的API，使得用户可以方便地进行数据处理、机器学习、图计算等各种任务。Spark的主要特点包括内存计算、容错性、高性能和易用性，因此在大数据处理领域得到了广泛应用。
实验十七 Spark实验：Spark SQL
WistWill的博客
04-10 2202
实验指导： 17.1 实验目的 1． 了解Spark SQL所能实现的功能； 2． 能够使用Spark SQL执行一些sql语句。 17.2 实验要求 1． 能在实验结束之后完成建立数据库，建立数据表的数据结构； 2． 建立数据表之后能在Spark SQL中执行SQL语句进行查询； 3． 练习怎么向Spark SQL中导入数据。 17.3 实验原理 Spark SQL用于以交互式...
使用jdk17 搭建Hadoop3.3.5和Spark3.3.2 on Yarn集群模式
qq_37354060的博客
04-12 5562
把**.pub**文件打开，复制出里面的内容，把内容复制到一个临时的txt中，我复制到了windows桌面的一个文件里。现在，四台虚拟机已经都安装了Spark，并且环境变量已经配置成功，下面就是启动Spark了。至此，一台虚拟机的spark配置完毕，接下来配置其他虚拟器，过程与该虚拟机配置过程一致。这里我使用的是Centos8.5，虚拟机外存20G，内存4G，我安装的是带桌面版的。此时直接进来了，说明互信成功，接下来退出去，与其他虚拟机互信，自己与自己也互信一次。
Spark-Java Day 17字符串 多线程
Y_Bug的博客
11-21 1356
字符串 1.1 字符串拼接相关问题 1 常量+常量 结果常量池 2 常量与变量 或 变量与变量 结果堆 3 拼接后调用intern()方法：结果在常量池 4 concat方法拼接，结果都是在堆 1.2 字符编码转变 new String(str.getBytes(“UTF-8”), “UTF-8”); 1.3 正则匹配 ^[验证规则]{验证次数}$ ^开始 $结束 1.4 字符串操作其他方法 a 替换 replace(“要替换的内容”,“替换成内容”) 不支持正则 replaceFirst(.
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1152
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
spark配置jdk
03-15
自 Spark 2.2 开始，官方已停止对 Java 7 的支持，在实际生产环境中，Spark 应用程序通常运行于 Hadoop 系统之上。如果 Hadoop 所依赖的 JDK 版本较低（如 JDK 7），而 Spark Application 基于更高版本的 JDK 编写，...
jdk17 GC配置参数
最新发布
03-16
在JDK 17中，垃圾回收器的配置参数经过多次优化和改进，以适应现代应用程序的需求。以下是几个重要的垃圾回收器配置参数及其功能描述： #### 1. **永久代与元空间** 在早期版本的Java中，`-XX:PermSize` 和 `-XX:...
详解 Spark 各种运行环境的搭建
weixin_44480009的博客
05-29 1941
Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。
如何为Spark Application指定不同的JDK版本详解
08-28
主要给大家介绍了关于如何为Spark Application指定不同的JDK版本的相关资料，文中通过示例代码将解决的方法介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友下面来随着小编一起学习学习吧。
java JDK17 jvm参数配置示例及解读
学亮编程手记
05-26 2363
包的访问权限，允许未命名模块（通常是那些没有声明属于任何模块的类路径上的类）访问这个包内的元素。指定使用Z Garbage Collector（ZGC），这是一个可伸缩、低延迟的垃圾收集器，特别适合大规模的多核系统，旨在实现暂停时间不超过10毫秒的目标。整体而言，这些配置旨在优化一个应用的内存管理、垃圾收集策略，以及提升在遇到内存问题时的诊断能力，特别是针对需要高性能、低延迟处理的应用场景。控制内存分配速率突增的容忍度，值越高，JVM越晚响应突增的内存需求，以避免不必要的垃圾回收。）和最大堆内存大小（
Spark性能调优
笔尖的痕的专栏
03-10 727
通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。 性能监控工具 【Spark监控工具】 Spark提供了一些基本的Web监控页面，对于日常监控十分有用。 1. Application Web UI http://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）
Windows配置java1.8环境变量
aizi3866的博客
08-21 399
参考链接：https://www.runoob.com/java/java-environment-setup.html 配置环境变量 1.安装完成后，右击"我的电脑"，点击"属性"，选择"高级系统设置"； 2.选择"高级"选项卡，点击"环境变量"； 在 "系统变量" 中设置 3 项属性，JAVA_HOME、PATH、CLASSPATH(大小写无所谓),若已存在则点击...
spark中sparksession报sessionstate出错
qq_43704511的博客
03-06 1225
org.apache.spark.sql.internal.SessionState 解决方法：jar包问题， 2.11.7或者2.11.8即可
java 1.7支持spark吗,Spark社区可能放弃Spark 1.7而直接发布Spark 2.x
weixin_39663970的博客
03-13 122
I’m starting a new thread since the other one got intermixed with feature requests. Please refrain from making feature request in this thread. Not that we shouldn’t be adding features, but we can alwa...
JDK环境搭建以及Spark安装（单机）
qq_45068404的博客
03-09 1186
Spark是目前除了Hadoop之外运用最广泛的大数据平台，与Hadoop相比，Spark分析效率更高，更加适用于实时分析。 安装Spark（单机） 注意：在安装spark之前要先搭建将Java环境，java环境搭建在后面（之前已经搭建好的直接安装就行） （这里用到的Spark版本为spark-2.4.3-bin-hadoop2.7），这里的hadoop指的是这个Spark平台与hadoop平台的...
idea搭建spark开发环境完整版（windows）
weixin_34280060的博客
08-03 5306
利用intellij idea 搭建spark开发环境（windows） 本文配置所有环境 Win10 企业版2016长期服务版 Jdk1.8.0.131 Hadoop2.7.3 Spark2.2.0 Scala2.11.12 一、Jdk环境配置 下载 http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html 可能需要oracle账号，目前更新到了151版。没有账号的可以移步 链接:
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值