记一次flink项目落数据库时产生的报错

最新推荐文章于 2024-05-10 17:47:42 发布
最新推荐文章于 2024-05-10 17:47:42 发布
阅读量248 收藏
点赞数
分类专栏： java 文章标签： flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sndayYU/article/details/115065239
版权
这篇博客主要讨论了在使用Java连接SQL Server执行批量插入操作时遇到的问题，错误信息为'String or binary data would be truncated'。作者深入解析了该错误的原因，通常是因为插入的数据超过了目标字段的最大长度。解决方案可能包括调整字段大小或者检查并修正插入数据的长度。此外，还提到了如何避免和处理这类问题的方法。
摘要由CSDN通过智能技术生成

报错如下

java.lang.Throwable:String or binary data would be truncated.
  at com.microsoft.sqlserver.jdbc.SQLServerStatement.executeBatch(SQLServerStatement.java:1830)
  at tianrang.jdbc.jdbcOperations.batchExec(JdbcOperations.java:52)
  at ......batchExec(JdbcOperations.java:38)
  at tianrang.operators.sink.jdbcSink.invoke(JdbcSink.ava:32)
  at ...(JdbcSink.java:21)
  at org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:56)
  at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:579)

在这里插入图片描述

Wesson96
关注
专栏目录
flink sink 涉及 字符串 转 Decimal类型导致报错 For input string: ‘864718064999999‘. Overflow.
yy的博客
07-20 318
因为Sink的表DDL中 Decimal字段是 Decimal(12,4) 但是从kafka接受的字符串想cast成decimal(12,4)的类型就会报错.
flink1.18.0 sql-client报错
yy的博客
11-09 1096
官网下载这个放到$FLINK_HOME/lib下即可。
Flink写数据（Sink）到HBASE报错解决
yunzailin的博客
03-28 3262
最近在做一个实时数仓的项目，需要把维度数据打入到HBASE中，以便实时分析时使用。在写入数据到HBASE中时，遇到了以下问题： 1、连接报错： 根据提示，应该是连接被关闭了 Caused by: java.lang.IllegalArgumentException: Connection is null or closed. at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:308) at or...
Flink无法序列化问题 *** is not serializable.
weixin_48481972的博客
03-11 2931
解决Flink无法序列化的一种思路
FlinkCDAS同步starrrocks，varchar超长导致数据同步失败
m0_66705151的博客
03-13 1334
使用FlinkCDAS同步mysql数据到starrocks，报org.apache.flink.table.api.TableException: Failed to deserialize the input record，究竟是怎么回事？
Flink+Druid+Clickhouse相关报错
weixin_42130167的博客
07-19 1127
Flink+Druid+Clickhouse相关报错
记一次Flink 写Mysql优化
03-31 2688
需求： 统计每5分钟内的活跃用户数，并写入mysql，mysql数据结构如下图所示。 时间 活跃用户数 10:00 2 10:05 4 10:10 3 废话不多说，直接上sql select p_product, p_project, p_dt, SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5), count(distinct device_id)...
flink sql 维表join报错 Temporal table join requires an equality condition on fields of table
yy的博客
11-22 457
新建视图 或者 新增字段 来cast类型为一致,都不行.应该修改/修正原表DDL.
Debezium报错处理系列之第102篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
最新发布
zhengzaifeidelushang的博客
05-10 801
Debezium报错处理系列之第101篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
Why it occurs this error [The JSON value could not be converted to System.Nullable]
weixin_45346457的博客
10-18 610
The JSON value could not be converted to System.Nullable
Flink实战问题（二）：java.lang.RuntimeException: An error occurred in ElasticsearchSink
在前进的路上
12-20 4050
一：背景 采用flink sql 入库elasticsearch出现入库失败，数据没入进去 二：错误 Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FailureRateRestartBackoffTimeStrategy(FailureRateRestartBackoffTimeStrategy(failuresIntervalMS=300000,backoffTimeMS...
FlinkCDC-Hudi:Mysql数据实时入湖全攻略六：极限压测下炸出来的FlinkCDC-Hudi坑，真多
m0_66705151的博客
02-27 5326
一篇文章告诉你，使用FlinkCDC写入Hudi完成数据入湖会遇到什么坑。
Flink类型导致的异常：java.lang.NullPointerException
xiaozhaoshigedasb的博客
05-23 5146
代码提交到yarn上后，一直报这个错，但是数据好像没丢，或者丢的少， 没看出来。。 一开始分析的是业务逻辑中匹配的时候，会有一些类型的问题，但是全部排查了一遍，貌似没有，更何况下边这个异常里面并没有指出代码中的哪一行类型异常。。所以就怀疑是不是kafka中的数据进来的时候就有空字段。。 今天无意中翻了一眼官网，他说： Scala Case Class（包括Scala元组）：最多22个字段，不支持空...
关于flink的时间处理不正确的现象复现&原因分析
weixin_34128411的博客
12-06 1226
　　跟朋友聊天，说输出的时间不对，之前测试没关注到这个，然后就在processing模式下看了下，发现时间确实不正确　　　　然后就debug,看问题在哪，最终分析出了原因，记录如下：　　　   最下面给出了复现方案及原因分析　　　　let me show how to generate the wrong result　　　　background: processing time in tumbl...
windows编写JAVA代码调用opencv打包到linux上运行
A__stick的博客
05-02 1157
  windows下使用idea编写代码使用opencv的库，然后打包工程提交到linux上的flink集群运行。   在windows下编写的代码，打包提交到linux上运行，遇到了很多opencv使用的坑！！！！现在总结一下：    报错1： Caused by: java.lang.UnsatisfiedLinkError: no opencv_java320 in java.library.path at java.lang.ClassLoader.loadLibrary(Class
Oracle DBMS_LOGMNR
cuipeng3714的博客
10-10 417
Oracle DBMS_LOGMNR[@more@]Oracle DBMS_LOGMNRVersion 10.2 GeneralSource{ORACLE_HOME}/rdbms/admin/dbmslm.sqlConstant...
Flink cdc 实时监听oracle归档日志及oracle数据延迟参数调优
haoheiao的博客
01-12 3907
flink cdc 实时监听oracle归档日志，oracle数据延迟参数调优。flink使用oracle cdc连接器时数据延迟较大，需加入debezium参数进行调整，以下代码均已加入该配置。##无法启动时错误代码1261、1263 可指定pfile文件启动
第二课 Flink 安装部署、环境配置及运行应用程序（1）
博客
08-15 2878
第二课
Flink流数据：优化批量写入数据库的策略与实现
Flink 流数据批量写入数据库是一个常见的场景，特别是在实时处理中，为了提高性能并减轻数据库的负载压力，通常会选择避免单条数据写入的频繁操作。单条写入存在的问题包括增加数据库的I/O负担、降低写入效率和可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值