项目场景:
java saveBatch 向tidb数据库批量入1000条数据,少了700条,没有报错
问题描述
数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据,打印日志
打印日志
Execute SQL:INSERT INTO table ( id, name) VALUES ( ** NOT SPECIFIED **, ** NOT SPECIFIED ** )
原因分析:
一直以为** NOT SPECIFIED **是报错信息,数据转换有问题,所以去排查异常数据,然而,这是个正常的执行sql语句。最后比对表结构发现,是表数据集有问题(实际报错应该是 Incorrect string value: '\xF0\x9F\x87\xA8' for column 'name'
)
解决方案:
ALTER TABLE table(表名) CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
注意,不能直接在dbeaver的表结构–数据集改,实际并没有改成功,可以刷新点进去查看DDL语句,此处数据集才是真实的数据集;
ex:
`ex` varchar(1024) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '示例',