Spark提交作业报错 Failed to get response。javax.net.ssl.SSLHandshakeException

最新推荐文章于 2024-06-18 10:34:22 发布
最新推荐文章于 2024-06-18 10:34:22 发布
阅读量180 收藏
点赞数
文章标签： spark 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/X_yufei/article/details/131193514
版权

公司软件平台对接华为FI集群，使用spark集群是报错，在spark客户端上执行提交命令报错如下

./Spark2x/spark/bin/spark-submit -master yarn --class org.apache.spark.examples.SparkPi --master yarn-client ./Spark2x/spark/examples/jars/spark-examples_2.12-3.1.1-h0.cbu.mrs.313.r10.jar

在这里插入图片描述
数据处理平台日志显示

| ERROR | main | Failed to get response, Error is :
javax.net.ssl.SSLHandshakeException:
sun.security.validator.ValidatorException: PKIX path building failed:
sun.security.provider.certpath.SunCertPathBuilderException: unable to
find valid certification path to requested target |
org.apache.ranger.admin.client.RangerAdminRESTClient.run(RangerAdminRESTClient.java:234

在这里插入图片描述
经过排查发现，需要修改spark客户端配置文件，问题处理完成

Spark2x/spark/conf/spark-default.conf
spark.ranger.plugin.authorization.enable=false
Bohemian—Rhapsody
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark 提交任务时出现问题
songweiren1的博客
11-26 3059
[li@storm333 spark-standalone]$ ./bin/spark-submit --class com.atguigu.spark.test.spark_Jni_VectorAdd --master spark://storm333:7077 ./MyProjects/SparkJNIVectorAdd/spark-core-1.0-SNAPSHOT.jar 21/11/26 16:14:56 WARN NativeCodeLoader: Unable to load native.
Spark提交应用失败
harli的专栏
03-06 834
第一种失败： TaskSchedulerImpl 调度失败 报错信息: TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory 原因分析： 1. w
spark作业执行失败分析
weixin_34232617的博客
11-16 3739
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark编程及作业提交易犯错误
quintind的专栏
06-24 507
1、Spark作业需要从本地读入数据 本地输入的数据文件，需要和jar包放在Linux操作系统中，不能放在hdfs文件系统中。以下是一个示例 pathIn="../sparkJar/distinct_infected_ua " # 本地要传入给Spark作业的数据位置 for i in {10..30} do if [ $i -lt 10 ] ; then i=0$i fi pathIn...
url.openStream报错javax.net.ssl.SSLHandshakeException解决(忽略ssl证书方式)
02-23
访问带https请求忽略ssl证书,避免url.openStream报错javax.net.ssl.SSLHandshakeException url = new URL(imageUrl); if("https".equalsIgnoreCase(url.getProtocol())){ SslUtils.ignoreSsl(); } //不添加...
解决webMagic0.7.3 出现javax.net.ssl.SSLException: Received fatal alert: protocol_version的问题-附件资源
03-02
解决webMagic0.7.3 出现javax.net.ssl.SSLException: Received fatal alert: protocol_version的问题-附件资源
javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair 解决方法总结
08-25
主要介绍了javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair 解决方法，有需要的朋友们可以学习下。
CM启动Spark报Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above
summer089089的博客
12-04 2753
1.现象 启动Spark-Shell报错： ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and PySpark memory (0 MB) is above the max threshold (1024 MB) of this cluster! Please
提交Spark作业遇到的NoSuchMethodError问题
daxiongwuwuwuw的博客
09-09 2784
dsa
spark plugin that support for spark-authorizer(spark-shell, pyspark, or spark-submit) by ranger
TBSOD的博客
05-08 1206
源自：https://github.com/yaooqinn/spark-authorizer Spark Authorizer Spark Authorizerprovides you withSQL Standard Based AuthorizationforApache Spark™as same asSQL Standard Based Hive Authoriza...
Ranger配置hive 插件报错解决Permission denied: user=rangerlookup, access=READ_EXECUTE, inode=“/“
iisbeginner的博客
12-01 297
​ 日志可以看出是Ranger配置没有问题，是下载策略没有权限。​ 期间尝试重启，换版本都未解决。授权下载策略用户为hive。
spark作业提交失败分析
wangkuangood3200的专栏
09-12 915
提交一个spark作业，报错： error cluster.yarnclientschedulerbackend：the yarn application has already ended！It might have been killed or the Application Master may have failed to start. error spark.sparkcontext...
spark-submit提交程序遇到错误，纠正记录
ChengYanan的博客
10-14 1459
时间：2019年10月14日 spark程序按照如下提交任务后报错 ./spark-submit --class com.idengyun.HiveToEs2 \ --conf spark.yarn.executor.memoryOverhead=6144 \ --conf spark.shuffle.io.maxRetries=100 \ --conf spark.shuffle.io.retr...
利用Submarin集成Spark-Ranger
主要分享大数据相关的知识，如Spark、Hudi
05-03 1196
我的原创地址：https://dongkelun.com/2021/12/02/submarinSparkRanger/ 前言 本文总结如果利用Submarin集成Spark-Ranger，通过ranger控制spark sql的权限 前提 已经安装了Spark、Hive、kerberos、Ranger,并且Hive已经集成了Ranger,本文环境基于Ambari submarine-spark-security 插件打包 官网文档https://submarine.apache.org/docs/user
hadoop生态组件——ranger（hdfs,hive,spark）相关文章
TBSOD的博客
05-08 388
ranger实施文章： 讨论有关HDFS的Ranger政策（HDFS 策略实施） https://pierrevillard.com/category/apache-ranger/ 关于Ranger和HDFS的最佳实践 https://fr.hortonworks.com/blog/best-practices-in-hdfs-authorization-with-apache-rang...
Apache Ranger：统一授权管理框架
热门推荐
张伟的专栏
08-03 1万+
Apache Ranger：统一授权管理框架 by 伊布 May 12, 2016 in Tech 1、功能 支持组件用户/组管理授权审计 2、机制 组件plugin 前一篇文章介绍了hive的授权模型和spark支持hive的现状，可以看到目前授权管理各自为政：HDFS，hive，yarn，storm等都有自己的授权模型，需要到具体产品下进行修
windows安装spark
最新发布
weixin_41046245的博客
06-18 285
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
mac启动项目报错Caused by: javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate)
01-25
根据提供的引用内容，报错"Caused by: javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate)"通常是由于SSL握手过程中出现问题导致的。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值