Streamset数据同步报错问题
1、postgresql cdc使用数据库链接报错
JDBC_00 - Cannot connect to specified database: com.streamsets.pipeline.api.StageException: JDBC_00 - Cannot connect to specified database: ERROR: logical decoding requires wal_level >= logical
在pg10版本中,wal_level待选的值为minimal、replica、logical。各个词的解释如下:
- minimal --不能通过基础备份和wal日志恢复数据库。
- replica = 9.6版本以前的archive和hot_standby --该级别支持wal归档和复制。
- logical --在replica级别的基础上添加了支持逻辑解码所需的信息
修改pg数据库配置,
wal_level设置流复制的权限,找到配置文件postgresql.conf,我的路径再/var/lib/pgsql/10/data
修改
wal_level = logical
重启数据库
systemctl restart postgresql-10
2、Unsupported type 1111 for column data
当pg数据库使用的是版本较高,而Streamset版本较低的,如果数据的类型为json、或者jsonb,Streamset同步工具会报错【Unsupported type 1111 for column data】,原因是低版本的Streamsets不支持这两种格式
官网文档查看地址: https://streamsets.com/documentation/datacollector/3.10.x/help/index.html