Streamset数据同步报错问题

Streamset数据同步报错问题

1、postgresql cdc使用数据库链接报错

JDBC_00 - Cannot connect to specified database: com.streamsets.pipeline.api.StageException: JDBC_00 - Cannot connect to specified database: ERROR: logical decoding requires wal_level >= logical

在pg10版本中，wal_level待选的值为minimal、replica、logical。各个词的解释如下：

     - minimal --不能通过基础备份和wal日志恢复数据库。

     - replica = 9.6版本以前的archive和hot_standby --该级别支持wal归档和复制。

     - logical --在replica级别的基础上添加了支持逻辑解码所需的信息

修改pg数据库配置，

wal_level设置流复制的权限,找到配置文件postgresql.conf,我的路径再/var/lib/pgsql/10/data

修改

wal_level = logical

重启数据库

systemctl restart postgresql-10

2、Unsupported type 1111 for column data

当pg数据库使用的是版本较高，而Streamset版本较低的，如果数据的类型为json、或者jsonb，Streamset同步工具会报错【Unsupported type 1111 for column data】，原因是低版本的Streamsets不支持这两种格式

官网文档查看地址： https://streamsets.com/documentation/datacollector/3.10.x/help/index.html