CDH5.13启用Kerberos后spark代码提交常见错误

最新推荐文章于 2024-07-11 00:30:05 发布
最新推荐文章于 2024-07-11 00:30:05 发布
阅读量1.3k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42240930/article/details/82697512
版权

错误一：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

解决方法：需要登录kinit spark

错误二：WARN client.StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.xxx.xxx:7070

解决方法：检查代码“.setMaster("yarn-client")”。master应指定为yarn-client或yarn，Standalone模式的Spark集群不支持访问Kerberos认证的Hadoop，需使用Yarn模式管理的的Spark集群

错误三：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

解决方法：尝试提交命令改为spark2-submit --class xx.xx xx.jar

王若鱼
关注
client.StandaloneAppClient$ClientEndpoint: Failed to connect to master bigdata3:7077
zhengzaifeidelushang的博客
11-11 1436
Spark-submit提交应用程序命令 [root@bigdata1 conf]# spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://bigdata1:7077,bigdata2:7077,bigdata3:7077 \ --executor-memory 1G \ --total-executor-cores 1 \ /moudle/spark-3.0.1/examples/jars/spark-exa
【spark】记录一次 spark sparkstreaming 使用命令行提交任务在Yarn集群模式无法正常消费kerberos kafka数据的问题
Mrerlou的博客
08-18 4337
最近在提交spark程序到yarn消费kerberos认证方式的kafka数据。由于配置文件 相对/绝对路径不正确配置遇到了报错，这里整理并记录一下。以上的问题，说白了就是在任务真正的执行节点，并没有成功从绝对路径中加载到对应的配置文件。因为别的节点并没有这些配置文件。所以需要用--flies将我们需要用到的配置都加载到yarn服务上，然后yarn来将这些配置问价分发到真正执行任务的目录上。所以我们用的一些参数中指定的配置也须写成相对路径。和。.........
进行Spark，Kafka针对Kerberos相关配置
微信公众号：大数据从业者
03-20 372
1. 提交任务的命令 spark-submit \--class <classname> \--master yarn \--deploy-mode client \--executor-memory 2g \--executor-cores 2 \--driver-memory 2g \--num-executors 2 \--queue default \--princi...
04、Kerberos安全认证之配置和访问Kerberos安全认证的Hive集群学习笔记
最新发布
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1557
04、Kerberos安全认证之配置和访问Kerberos安全认证的Hive集群学习笔记
StandaloneAppClient$ClientEndpoint: Failed to connect to master master:7077
qq_33465047的博客
09-24 5152
出现这种问题时， 21/09/09 09:38:31 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master master:7077 org.apache.spark.SparkException: Exception thrown in awaitResult: at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:301)
在 CDH 集群启用 Kerberos认证
jaysen1005的博客
03-04 1127
Kerberos原理介绍 kerberos主要是用来做网络通信时候的身份认证，最主要的特点就是“复杂”。所以在入坑kerberos之前，最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总： 1.链接： kerberos认证原理 用对话场景来解释kerbeors的设计过程 Kerberos的组件和术语(翻译和注解) 2.Kerberos认证流程： KDC...
CDH5.15启用kerberos+Sentry手册_v1.0.docx
04-10
《CDH5.15启用kerberos+Sentry手册》详细解读 在大数据处理环境中，确保数据的安全性至关重要。CDH（Cloudera Distribution Including Apache Hadoop）作为一款流行的大数据平台，提供了强大的安全机制，包括...
CDH 6.2.0启用kerberos认证
weixin_45682234的博客
07-06 779
1. 整体说明 集群主机角色划分（cdh6.2.0（续）） n76.aa-data.cn作为master节点，安装kerberos Server 其他节点作为slave节点，安装kerberos client 2. 安装 Kerberos 在 n76.aa-data.cn上安装 krb5、krb5-server 和 krb5-client。 yum install krb5-server -y #klist等命令找不大时执行下面安装 yum install -y krb5-server krb5-works
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能优化，而适配CDH6.3.2则意味着该版本的Spark已经经过了与Cloudera Data Hub (CDH) 6.3.2的兼容性验证。CDH是一个流行的Hadoop发行版，包含了...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）
zhenwudi的专栏
05-16 2110
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器上操作(分发环境)2.1 在集群（各机器上都执行！2.1 切换到k8s-master执行。2.2 切换到k8s-node1执行。切换到k8s-master执行。切换到k8s-master执行。
深入理解Spark 2.1 Core （六）：资源调度的原理与源码分析
01-05 5450
在上篇博文中，我们讲到了如何启动Master和Worker，还讲到了如何回收资源。但是，我们没有将AppClient是如何启动的，其实它们的启动也涉及到了资源是如何调度的。这篇博文，我们就来讲一下AppClient的启动和逻辑与物理上的资源调度。
spark 集群模式执行命令出错Connection refused的解决办法
黄道婆的专栏
12-04 2410
用spark HA集群的模式来执行命令，出错如下（此处隐去真实的ip地址，以x.x.x.x替换）： 20/12/04 20:01:38 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master node02:7077 org.apache.spark.SparkException: Exception thrown in awaitResult at org.apache.spark.rpc.RpcTimeout$$a...
WARN Worker: Failed to connect to master
漫游学海之旅
10-23 8406
问题   对Spark进行Standalone模式布局，     在节点 机器上           启动           > ./sbin/start-slave.sh spark://MasterURL:7077         新增 Worker          > ./bin/spark-class org.apache.spark.deploy.worker.Wo
Kerberos异常之unnable to obtain password from user
u012667450的博客
11-18 9489
unnable obtain password from user 问题描述 在大数据集群开启kerberos认证后，使用kerberos票据进行kinit认证通过。但是集群运行yarn任务时报错： javax.security.auth.login.LoginException: Unable to obtain password from user 产生原因 在kerberos认证的集群下，该问题会经常遇到。其实很简单，是因为使用生成kerberos票据时的linux用户与集群组件匹配不当造成的。比
spark远程调试代码报错 StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.126.128:7077
热门推荐
cyssxt的博客
06-19 1万+
一、分析原因：查看服务器的远程端口绑定ip 这边显示绑定的是127.0.0.1：7077表示只能本地访问 正确的访问方式为：局域网Ip:7077 二、查看启动脚本设置： 分析脚本可以看到这边启动master和slaves分别是两个脚本，由于我们是通过start-master.sh去运行的，我们查看start-master.sh 通过start-master可以发现
【kerberos】org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN,
Mrerlou的博客
02-16 2100
在用SUSE 操作系统安装 CM 大数据平台，在集群开启 kerberos 后，使用 HDFS 命令报错如下： 环境信息 SUSE Linux Enterprise Server 12 Service Pack 1 (SLES 12 SP5) 仔细看，在使用 klist 命令时，有个 他指向的路径是： 而在执行 命令时，有个 他指向的路径是 默认是去 目录下找 缓存。然后 SUSE 操作系统下 并不是放在 目录下，导致 客户端认为你没有进行 认证。所以报错。在中，我们增加了下面的参数以后
【hadoop】AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]
九师兄
03-03 2054
今天要对接华为的hadoop环境，然后我要执行相关的kerberos认证，然后获取到他们的YarnClient。但是报错 他们给的demo案例如下 authentication是主要的安全认证都在这里 做一些检测，然后执行hadoop认证 真正的hadoop认证 在认证中是调用了返回一个用户信息，然后返回给 然后对应的配置文件如下 执行主类运行结果正常,可以看到获取到了Yarn相关的信息 1.2 我的异常 我的跟这个一样的，把他们的Jar包拷贝到我们项目，而且这块认证的跟他们一样，但是我的无法认证通过 然后
CDH启用Kerberos认证
06-03
好的，关于CDH启用Kerberos认证，我可以给你提供一些基本的信息。 CDH（Cloudera Distribution of Hadoop）是一种基于Apache Hadoop的分布式计算平台，可以用于管理和处理大规模的数据。Kerberos是一种网络认证协议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值