Spark-Kudu报错：kudu.client.NonRecoverableException: The table was deleted: Table deleted at xxx

最新推荐文章于 2024-03-18 10:28:13 发布
最新推荐文章于 2024-03-18 10:28:13 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/103860443
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
本文档记录了一个Spark程序在写入Kudu时遇到的异常情况，错误表现为`kudu.client.NonRecoverableException: The table was deleted`。尽管问题在重新运行后通常能解决，但偶尔会因网络问题或Kudu服务状态导致。作者怀疑可能在任务运行期间手动删除了表，并进行了本地测试以复现问题。在源码分析中，发现错误发生在C代码的try-catch块中。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.背景

一个spark 写入到kudu 的程序，开始运行正常，后来报错了，错误如下

Exchange hashpartitioning(magr_pos_id#549, 12)
+- *(17) Project
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
关于java连接kudu或者flume的kudusink的异常汇总
qq_40651753的博客
01-16 1559
1、Caused by: org.apache.kudu.client.NonRecoverableException: Could not connect to a leader master. Client configured with 1 master(s) (xxxx:7051) but cluster indicates it expects 3 master(s) (xxx,xxx,...
Spark执行计划分析与研究
热门推荐
Deegue
09-18 2万+
在学习、使用和研究spark的过程中，逐渐会发现：单纯看官方文档对spark参数调优只能解决一小部分的问题，要想进一步的学习spark，进一步调优甚至在spark源码的基础上二次开发，我觉得收益最高的应该是学习执行计划了。 因此在研究spark源码之前，学习执行计划 可以对整个spark执行过程、架构设计都有一个初步的认识。 然而国内网站各大博客，都没有找到一个相关入门教程，笔者打算利用空余时...
[spark sql连接kudu]kudu.client.NonRecoverableException: The table does not exist:table_name: “tbname“
最新发布
NBA首席形象大使坤坤
03-18 1224
报错： 原因：没有指定库 解决方式：在kudu master ui查看 添加到代码中： // 读取kudu // 获取tb对象 val kuduTb = ss_kudu.read.format("org.apache.kudu.spark.kudu") .option("kudu.master", "10.168.1.12:7051") .option("kudu.table", "impala::realtimedcs.wtr31") // Tips：.
记一次 org.apache.kudu.client.NonRecoverableException 的排查
shengjk1的博客
06-17 5278
在实时数仓的时候，遇到了 org.apache.kudu.client.NonRecoverableException，搞了好长时间，特此记录一下。 首先肯定是查看日志，发现如下错误： 2020-06-17 16:49:27 ERROR KeyedProcess -> Sink: Unnamed (2/10) tasks.StreamTask:671 - Error during disposal of stream operator. org.apache.kudu.client.N
【Kudu异常】org.apache.kudu.client.NonRecoverableException: not enough live tablet servers to create a
weixin_48143996的博客
05-24 1579
Kudu异常解决 当需要在Kudu创建表时，运行报错信息为：org.apache.kudu.client.NonRecoverableException: not enough live tablet servers to create a table with the requested replication factor 3; 1 tablet servers are alive 解决办法：在设置分区策略时设置分区副本数：setNumReplicas(1) ...
org.apache.kudu.client.NonRecoverableException: Caused by: java.lang.NullPointerException
WHAPHY的博客
06-27 1451
kudu rpc 队列
Spark 中的 exchange reuse
半日闲的博客
04-13 1256
文章目录说明ReuseExchange 和 ReuseSubquery RuleAE 中 reuse 的实现AE 第一次划分 Stage 并提交执行AE 第二次划分 Stage 并提交执行 说明 如果一个Query中有重复出现的Exchange或者Subquery, Spark 可以对着一部分进行 Reuse。 在 disable AE 时，是通过两个固定的Rule 来改写Plan 来实现 reuse. 在 enable AE 时，AE 通过 Stage 的划分和调度，通过特殊的 ReusedStage 来
每个 Spark 工程师都应该知道的五种 Join 策略
过往记忆大数据
09-13 4704
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join h...
Spark AQE DataSkew 处理过程中考虑的一些Case
半日闲的博客
11-18 1911
Spark AQE 在 DataSkew 处理过程中，需要考虑一些边界条件，否则可能会引入一些额外的Shuffle。 EnsureRequirements 在开始今天的Topic之前，需要先回顾一下 EnsureRequirements， 熟悉的同学请跳过。 EnsureRequirements 是为了保证Spark 算子的数据输入要求，在算子之间引入Shuffle的核心工具。 outputPartitioning 算子的 Partitioning 表示该算子的数据在集群上是如何分布的。 SparkPla
SparkSQL（13）: 窗口函数和group by执行顺序
小蚯蚓的博客
11-15 5303
一、实现功能 当sql中既有groupby又有窗口函数，那么两者的执行顺序是什么样？这个特此研究一下，方便后续有使用的时候会方便。 二、实际例子 3.1案例数据 /opt/datas/score.json，学生名字、课程、分数 {"name":"A","lesson":"Math","score":100} {"name":"B","lesson":"Math","score":100} {"name":"C","lesson":"Math","score":99} {"name":"D","lesson"
Spark性能调优总结
舒哥的blog
01-09 1571
使用正确的 transformations操作 虽然开发者达到某一目标，可以通过不同的transformations操作，但是有时候不同的姿势，性能差异非常明显。优化姿势的总体目标是尽可能少的产生shuffle， 和待被 shuffled data。因为shffule过程存在写盘和节点间网络IO的开销repartition , join, cogroup, and any of the *By o...
Spark_Spark JOIN的种类 以及选择依据
迎难而上
06-07 2905
参考文章 ： 1.Spark join种类(>3种)及join选择依据 https://blog.csdn.net/rlnLo2pNEfx9c/article/details/106066081 Spark 内部JOIN 大致分为以下3种实现方式 ： 1.BroadCastHashJoin 2.ShuffledHashJoin 3.SortMergeJoin 1.BroadCastHashJoin 翻过源码之后你就会发现，Spark 1.6之前实...
使用explain来分析Spark应用
三丰的专栏
09-18 2232
理解Spark的执行计划对Spark调优是非常重要的。Spark提供了一个explain API去查看Spark SQL查询的执行计划。在这篇文章中我会展示给你如何使用explain去获取执行计划以至于你可以调试和分析你的Spark应用。explain在Dateset上是可用的。你可以用它在Spark 查询真正运行之前就知道Spark的执行计划。当然，Spark也提供了UI，你可以通过UI去看Spark的执行计划以及其它细节当Spark 应用正在运行的时候。并且你可以配置Spark History Serv
org.apache.kudu.client.NonRecoverableException: MANUAL_FLUSH is enabled but the buffer is too big
编程爱好者
04-18 5452
环境： kudu：kudu-1.9.0+cdh6.2.0-967373.el6.x86_64.rpm 问题： 使用kudu的java api执行插入操作的时候，一次性插入10000条，报错： org.apache.kudu.client.NonRecoverableException: MANUAL_FLUSH is enabled but the buffer is too big at or...
远程IDE无法连接kudu
擦玻璃的程序员专栏
12-28 3237
客户端测试kudu出错 Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 67,...
TortoiseGit v2.60
唐古拉山的专栏
02-18 719
TortoiseGit 在大年初二迎来了大版 v2.60Released: 2018-02-17 This is planned to be the last version compatible with MsysGit 1.9.5 (i.e., Git for Windows < 1.9.5). == Features == * Fixed issue #3089: Show pa...
Git fatal: empty string is not a valid pathspec, please use . instead if you meant to match
夏已微凉、
12-08 4467
一、场景二、原因三、解决 一、场景 我本地分支的代码改动了，现在需要还原，操作如下： 进入项目根目录 -> 点击鼠标右键 -> TortoiseGit -> Revert...，然后弹出如下页面： 二、原因 因为近期曾升级了Git 到2.16及更高版本后作了些改变https://gitlab.com/tortoisegit/tortoisegit/issues/3138，而TortoiseGit 版本在 2.6.0 这个版本修复了这个问题，所以，如果Git升级为2.16后，Tor.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值