Streamsets FAQ（七）record can not be null

最新推荐文章于 2020-09-27 16:39:30 发布

芦苇_

最新推荐文章于 2020-09-27 16:39:30 发布

阅读量579

点赞数

分类专栏： Streamsets # Streamsets FAQ

本文链接：https://blog.csdn.net/maomaosi2009/article/details/108315597

版权

Streamsets 同时被 2 个专栏收录

18 篇文章 11 订阅

订阅专栏

Streamsets FAQ

7 篇文章 2 订阅

订阅专栏

本文探讨了在使用mysqlbinlog进行数据实时同步时遇到的recordcannotbenull错误，详细介绍了错误原因及解决方案，包括如何检测无主键表并提供SQL语句，以及在pipeline中忽略无主键表的方法。

摘要由CSDN通过智能技术生成

1、问题描述

对接mysqlbinlog，实时同步数据，pipeline运行一段时间后报错

record can not be null

pipeline直接挂掉，重启无法启动，依然报错，只有重置offset后才能运行起来。

2、解决方案

这个错误基本上都是因为原始数据库那边的表没有主键导致的，所以需要到原始库那边检测哪些数据表没有主键，给这些表添加主键配置，或者在pipeline中将这些没有主键的数据表忽略掉即可。这里也附上MySQL查看没有主键表的SQL语句

SELECT
	t1.table_schema,
	t1.table_name 
FROM
	information_schema.TABLES t1
	LEFT OUTER JOIN information_schema.TABLE_CONSTRAINTS t2 ON t1.table_schema = t2.TABLE_SCHEMA 
	AND t1.table_name = t2.TABLE_NAME 
	AND t2.CONSTRAINT_NAME IN ( 'PRIMARY' ) 
WHERE
	t2.table_name IS NULL 
	AND t1.TABLE_SCHEMA NOT IN ( 'information_schema', 'performance_schema', 'test', 'mysql', 'sys' );