spark报错整理

最新推荐文章于 2023-03-31 18:03:10 发布
最新推荐文章于 2023-03-31 18:03:10 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jacqueline_JIANG/article/details/119192301
版权

1.  报错：Diagnostic messages truncated. 

一个spark2的已知bug，当一个表被多次复用，形成菱形逻辑（比如select ... as a; select ... from a as t1; select ... from a as t2; select t1 join t2）就有一定概率会出现这个attribute missing的报错。

1. spark3修复了该问题。

2. 如果目前要在spark2任务中绕过该问题，可以尝试找出那些任务中被多次复用的临时表，先save成parquet临时文件再load出来即可

3. 对她t2的字段进行重命名。这个报错底下的bug本质是同名字段解析错误，spark会追溯不清表的字段

Ashley_JIANG
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【冰糖R语言】Diagnostic Messages 诊断信息输出
冰糖的小屋
09-26 718
message() suppressMessages() packageStartupMessage() suppressPackageStartupMessages()
spark运行信息及报错问题解决集锦
aet62619251的博客
09-05 2387
错误1： ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200. Please increase executor memory using...
spark笔记整理，2022年3月16日
03-16
spark笔记整理，2022年3月16日
Spark整理(3)
lemon
02-21 412
Spark整理(3) 一，算子 1.1 转换算子 repartition 增加或减少分区，会产生shuffle scala代码: package com.shsxt.spark.scala import org.apache.spark.{SparkConf, SparkContext} object Sp_Repartition { def main(args: Array[Str...
2021-07-14unity输出信息出现＜message truncated＞怎么办
weixin_43322145的博客
07-14 2636
unity输出信息出现怎么办 有时候编译Unity项目的时候有错误，查看错误的时候控制台输出，是因为输出信息过长显示不下，于是就被截断了的原因。 这时如果想看完整的错误信息，可以去查找Editor.log来查看日志。、 这个文件在每个系统上的路径不一致，具体如下： Mac osx: ~/Library/Logs/Unity/Editor.log Windows xp: C:\Documents and Settings\username\Local Settings\Application Data_\U
报错记录
m0_62647227的博客
11-06 649
c语言报错记录 vs报错 scanf
Hive运行报错整理01
qq_33536353的博客
03-16 1107
Hive报错之buildSupportsSnappy()
Spark不能使用hive自定义函数.doc
最新发布
03-06
Spark 是一种快速通用的大规模数据处理系统，而Hive 则是一种数据仓库工具，主要用于对存储在 Hadoop 文件中的数据集进行数据整理、特殊查询和分析存储。然而，在实际应用中，开发人员可能会遇到一个常见问题——...
spark—virtualbox导入报错vdi问题——及IP地址修改
12-21
用virtualbox新建虚拟机时，导入已有的vdi经常报错，结合资料和试验整理出解决办法。
Spark with Kerberos认证异常问题整理
Christopher_L1n的博客
02-09 2431
Spark with Kerberos认证出现的各种异常，实际开发发现异常提示和问题本质相关性不高，因为认证过程高度封装。因此不记录异常提示，而是记录下排查思路。
spark 集群异常
u011500419的专栏
05-10 2409
21/05/10 14:29:06 INFO yarn.Client: Application report for application_1615370372492_2910 (state: FINISHED) 21/05/10 14:29:06 INFO yarn.Client: client token: N/A diagnostics: User class threw exception: java.lang.IllegalStateException: N...
Understanding Google Analytics Diagnostic messages and notifications
飞翔的熊blabla
03-12 1634
Google diagnostic is a feature of Google Analytics which makes regular evaluation of your Google Analytics tracking code, account configuration and data in order to find implementation issues and conf
HDFS 常用命令
weixin_30713953的博客
07-31 325
参考文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html Hadoop createSnapshot和deleteSnapshot命令,请戳一下链接： createSnapshot和deleteSnapshot 注意： 以下指令均是在，Linux 命令...
[Unity]unity输出信息出现＜message truncated＞
weixin_46472622的博客
03-31 467
Windows vista/7/8/10: C:\Users(用户)\username\AppData\Local\Unity\Editor\Editor.log。有时候编译Unity项目的时候有错误，查看错误的时候控制台输出，是因为输出信息过长显示不下，于是就被截断了的原因。这时如果想看完整的错误信息，可以去查找Editor.log来查看日志。可以在官网Unity日志文档来查看更多关于日志的信息。unity输出信息出现怎么办。
2. spark源码分析（基于yarn cluster模式）-YARN client启动，提交ApplicationMaster
LeoHan
10-20 434
通过上一节的研究，我们发现，spark提交任务后，启动了org.apache.spark.deploy.yarn.Client.run()方法，这里实际上就是spark利用yanr的客户端API在向YARN提交任务了，接下来我们一起来分析这个过程： def run(): Unit = { this.appId = submitApplication() if (!launcherBackend.isConnected() && fireAndForget) { v
ES错误记录
zgxy666的博客
11-20 1450
1、Caused by: org.elasticsearch.ElasticsearchException: ElasticsearchException[CircuitBreakingException[[fielddata] Data too large, data for [zone] would be larger than limit of [6390113894/5.9gb]]]; n...
Handling truncated messages
llfwdd的专栏
08-11 410
MQ报错：MQRC_TRUNCATED_MSG_FAILED，不要把这种返回错误当成错误，应该理解为是可以解决的 原创IP：https://hursleyonwmq.wordpress.com/2007/02/21/handling-truncated-messages/ I needed to write a small C WebSphere MQ app today which
如何解决常见的Apache错误
08-18 2784
Common Apache Errors 常见的Apache错误This tutorial series explains how to troubleshoot and fix some of the most common errors that you may encounter when using the Apache web server. 本教程系列说明了如何...
win10安装spark报错
03-04
您好，关于win10安装spark报错的问题，可能是由于环境变量配置不正确或者缺少必要的依赖库等原因导致的。您可以尝试重新配置环境变量，或者安装缺少的依赖库，或者查看报错信息进行排查。如果需要更具体的帮助，可以提供更详细的报错信息，以便我们更好地帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ashley_JIANG

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值