sparksql Exception thrown in awaitResult

Caused by: java.sql.SQLException: org.apache.spark.SparkException: Exception thrown in awaitResult: 
	at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:279)
	at com.lenovo.lps.farseer.priest2.ext.SparkExecDao.executeOneSql(SparkExecDao.java:370)
	at com.lenovo.lps.farseer.priest2.ext.SparkExecDao.executeOneSqlProxy(SparkExecDao.java:341)
	at com.lenovo.lps.farseer.priest2.ext.SparkExecDao.sparkExecute(SparkExecDao.java:255)
	... 40 more

报此异常的error在集群任务多的时候偶尔会失败,重试也能过去,在集群闲时不会出现问题

在这个sql中设置了广播变量,在变量广播的时候发生了超时,可以适当延长广播超时时间避免失败

set spark.sql.broadcastTimeout=600;

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
这个错误信息是由SimpleITK中的ImageFileReader_Execute函数引发的。错误信息指出指定的文件“./dataset/data_fix\ct_0001.nii.gz”不存在。 根据引用中的代码示例,使用SimpleITK库中的ReadImage函数来读取图像。在该示例中,读取的文件路径为"G:5511-2-00001.dcm"。需要注意的是,文件路径应该使用正斜杠(/)而不是反斜杠(\),因为在Unix系统中,文件路径使用正斜杠作为分隔符。 引用中解释了报错的原因。报错的原因并不是SimpleITK的读取问题,而是路径不正确。在给定的错误信息中,路径中混合了正斜杠和反斜杠的字符,导致路径无法正确解析。在设置根路径时,应该使用正斜杠作为连接符,同时使用os.path.join函数来拼接路径的其他部分。 综上所述,要解决这个错误,可以检查文件路径是否正确,并确保使用正斜杠作为路径分隔符。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [【Debug记录】Exception thrown in SimpleITK ImageFileReader_Execute|路径不存在|../../..\ is not exist](https://blog.csdn.net/m0_51141265/article/details/129475482)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [【数据处理】Python读取.dcm文件的方法(解决报错:Exception thrown in SimpleITK ImageFileReader_Execute:...](https://blog.csdn.net/qq_43426908/article/details/122419601)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值