spark疑难杂症

最新推荐文章于 2022-10-02 08:10:25 发布

cclovezbf

最新推荐文章于 2022-10-02 08:10:25 发布

阅读量2k

点赞数 2

分类专栏： spark 文章标签： spark 报错

本文链接：https://blog.csdn.net/cclovezbf/article/details/119895943

版权

spark 专栏收录该内容

17 篇文章 1 订阅

订阅专栏

背景:上周spark任务还能正常运行。突然执行就开始报错？

写了一个spark的功能读取csv然后导入到hive功能，

先看报错FileNotFoundException ：这个报错可太简单了吧，不是就是文件文件找不到，啥文件找不到我就复制啥文件不好了么？是哪个文件？怎么好像打印乱码了呢？先不管。。。。

在接着看

TGT Renewer for hive@CDH.COM] security.UserGroupInformation (UserGroupInformation.java:run(1026)) - Exception encountered while running the renewal command for hive@CDH.COM. (TGT end time:1629455062000, renewalFailures: 0, renewalFailuresTotal: 1

什么kerberos报错了？擦怎么回事，是认证过期?还是登录失败，还是kerberos server还是client有问题？一瞬间大脑开始有了无数个想法

java.io.FileNotFoundException: File file:/data/share/dw_ia_portraitsearch/shell/2021-08-20 15:29:28,848 WARN  [TGT Renewer for hive@CDH.COM] security.UserGroupInformation (UserGroupInformation.java:run(1026)) - Exception encountered while running the renewal command for hive@CDH.COM. (TGT end time:1629455062000, renewalFailures: 0, renewalFailuresTotal: 1) does not exist
	at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:641)
	at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:867)
	at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:631)
	at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:442)
	at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:103)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:533)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2549)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:944)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:935)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:935)
	at com.tencent.s2.job.Kudu2HiveJob.launch(Kudu2HiveJob.java:51)
	at com.tencent.s2.AppJob$1.run(AppJob.java:56)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

立马开始查看 klist 没有过期

[devuser@worker01 /data/share/dw_ia_portraitsearch/shell]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: hive@CDH.COM

Valid starting       Expires              Service principal
2021-08-24T18:05:39  2021-08-25T18:05:39  krbtgt/CDH.COM@CDH.COM
    renew until 2021-08-31T18:05:39

代码里的认证

查看打印日志也没啥问题？

这就奇了怪了。

仔细看日志里有 [TGT Renewer for hive@CDH.COM]

是续期失败？赶快截图给运维看下，运维说没啥问题啊。

继续看日志

21/08/24 18:05:41 INFO security.UserGroupInformation: Login successful for user hive@CDH.COM using keytab file /data/share/hive.keytab. Keytab auto renewal enabled : false

显示登录成功了啊，按道理应该没问题了，怎么回事啊

备注：此时我到了这陷入了kerberos的奇怪问题中，但是FileNotFInd这个问题直接pass了。。。

继续看..

Warning: Ignoring non-spark config property: hdfs=//s2cluster/user/spark/applicationHistory
Warning: Ignoring non-spark config property: ExitCodeException=exitCode=1: kinit: KDC can't fulfill requested option while renewing credentials
Warning: Ignoring non-spark config property: at=java.lang.Thread.run(Thread.java:748)
启动的时候出现了warning？

而且说没有spark的属性，这些属性都有点奇怪，一般不是spark.xx.xx这样的么，仔细看又出现了

kinit: KDC can't fulfill requested option while renewing credentials

又是kerberos。。。。

自此陷入了kerberos的怪圈，肯定是有问题，思考了一上午，顺带把kerberos的命令又都测了一遍，无果。

百度 https://www.oschina.net/question/4191871_2316093

其实中间我还看了spark的源码。

第一方面 java.io.FileNotFoundException

确实报的文件不存在。

第二方面我还看了报错RawLocalFileSystem

    at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:867

为什么是本地文件系统，不应该是hdfs的文件系统么

研究无果。。。其实我一直离真相只差一步。

答案就是问题FileNotFind 这个问题上，这个文件不存在，那就是文件不存在。

java.io.FileNotFoundException: File file:/data/share/dw_ia_portraitsearch/shell/2021-08-20 15:29:28,848 WARN [TGT Renewer for hive@CDH.COM] security.UserGroupInformation (UserGroupInformation.java:run(1026)) - Exception encountered while running the renewal command for hive@CDH.COM. (TGT end time:1629455062000, renewalFailures: 0, renewalFailuresTotal: 1) does not exist
这么一长串就是文件名字！！！！！！！！那么肯定是有人传参有问题，或者配置项有问题

而且 spark都说了Warning: Ignoring non-spark config property: 那就是说加载了spark不能读取的kv对。

所以我怀疑是有人动了cdh配置，反复询问，都说没人动。而且此时运维说flink也能正常跑啊，那就是spark不能跑。

突然灵光一闪，先前百度有人说是配置文件，那么就是这里有问题，看下。spark配置文件是啥呢？？？