flinksql任务-任务失败因concurrent upload/insert operations on the same table

1、报错:ErrorCode=MetaTransactionFailed, ErrorMessage=Operation failed due to concurrent upload/insert operations on the same table

2、ErrorCode=MetaTransactionFailed, ErrorMessage=Operation failed due to concurrent upload/insert operations on the same table. 
● 并发Commit UploadSession操作失败
● ACID表不支持并发Commit,并发操只有一个会成功
● 非ACID表支持并发Commit,并发操作可以同时成功,但是有性能上限,建议单表并发Commit不超过32.

maxcompute表、hive表事务表一般都是非ACID表(我这里就是用到maxcompute事务表,支持并发)

3、ErrorCode=StatusConflict, ErrorMessage=Cannot start upload now unless INITIATED
这个报错是UploadSession已经commit后,您发起写请求会报这个错。需要自查一下代码,UploadSession在Commit后就不能再使用了。

ErrorCode=MetaTransactionFailed, ErrorMessage=Operation failed due to concurrent upload/insert operations on the same table.
这个报错是并发操作一个表导致的(并发就存在对同一个表同时操作的可能性)

4、这个报错一般是因为同时 commit 的 session 数太多。batch tunnel 每次做 checkpoint,所有的 session 都会 commit,不同并发之间可能存在同时 commit 的情况,有小概率报错。streaming tunnel 因为没有 commit 的逻辑,所以应该不会出现这个问题,但 streaming tunnel 就是在作业出现 failover 的时候下游会产生重复数据。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
“ bundler: failed to load command: pod (/opt/homebrew/Cellar/fastlane/2.211.0/libexec/bin/pod)RubyGems Environment:- RUBYGEMS VERSION: 3.0.3.1- RUBY VERSION: 2.6.10 (2022-04-12 patchlevel 210) [universal.arm64e-darwin22]- INSTALLATION DIRECTORY: /Library/Ruby/Gems/2.6.0- USER INSTALLATION DIRECTORY: /Users/e125866/.gem/ruby/2.6.0- RUBY EXECUTABLE: /System/Library/Frameworks/Ruby.framework/Versions/2.6/usr/bin/ruby- GIT EXECUTABLE: /usr/local/bin/git- EXECUTABLE DIRECTORY: /usr/local/bin- SPEC CACHE DIRECTORY: /Users/e125866/.gem/specs- SYSTEM CONFIGURATION DIRECTORY: /Library/Ruby/Site- RUBYGEMS PLATFORMS:- ruby- universal-darwin-22- GEM PATHS:- /Library/Ruby/Gems/2.6.0- /Users/e125866/.gem/ruby/2.6.0- /System/Library/Frameworks/Ruby.framework/Versions/2.6/usr/lib/ruby/gems/2.6.0- GEM CONFIGURATION:- :update_sources => true- :verbose => true- :backtrace => false- :bulk_threshold => 1000- :sources => ["https://gems.ruby-china.com/"]- :concurrent_downloads => 8- REMOTE SOURCES:- https://gems.ruby-china.com/- SHELL PATH:- /opt/apache-maven-3.8.6/bin- /opt/homebrew/bin- /opt/homebrew/sbin- /usr/local/bin- /System/Cryptexes/App/usr/bin- /usr/bin- /bin- /usr/sbin- /sbin- /usr/local/sbin- /Library/Apple/usr/bin- /var/run/com.apple.security.cryptexd/codex.system/bootstrap/usr/local/bin- /var/run/com.apple.security.cryptexd/codex.system/bootstrap/usr/bin- /var/run/com.apple.security.cryptexd/codex.system/bootstrap/usr/appleinternal/bin- /Users/e125866/.rvm/bin”这个有问题吗?
06-09

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值