dinky1.0 同步PG 时修改数据类型

州周

已于 2024-03-18 20:16:23 修改

阅读量486

点赞数 9

文章标签： python linux 开发语言

于 2023-12-26 10:27:47 首次发布

本文链接：https://blog.csdn.net/weixin_45249411/article/details/135215460

版权

flink cdc在同步decimal类型数据的时候精度不允许超过38,所以修改为精度超过38就修改为string类型

AbstractSinkBuilder.java  第237行


String cdcSqlInsert = FlinkStatementUtil.getCDCInsertSql(table, tableName, viewName);
修改为
String cdcSqlInsert = FlinkStatementUtil.getCDCInsertSql(table, tableName, viewName,config);

FlinkStatementUtil.java  第45行


sb.append(String.format("`%s`", table.getColumns().get(i).getName())).append(" \n");
修改为
sb.append(getColumnProcessing(table.getColumns().get(i), config)).append(" \n");

同时新增方法

    public static String getColumnProcessing(Column column, FlinkCDCConfig config) {
        if (config.getType().contains("postgres-cdc") && (column.getType().contains("numeric") || column.getType().contains("decimal")) && column.getPrecision().intValue()>38) {
            return " CAST("+column.getName()+" AS STRING) AS `" + column.getName() + "`";
        } else if (config.getType().contains("postgres-cdc") && column.getType().contains("date")) {
            return " CAST("+column.getName()+" AS STRING) AS `" + column.getName() + "`";
        } else {
            return "`" + column.getName() + "`";
        }
    }

PostgreSqlTypeConvert.java 

register("numeric", ColumnType.DECIMAL);
register("decimal", ColumnType.DECIMAL);
修改为
register("numeric", PostgreSqlTypeConvert::convertDecimalOrNumeric);
register("decimal", PostgreSqlTypeConvert::convertDecimalOrNumeric);

同时新增方法


private static Optional<ColumnType> convertDecimalOrNumeric(Column column, DriverConfig<AbstractJdbcConfig> driverConfig) {
        //该字段的精度
        int intValue = column.getPrecision().intValue();

        if(intValue >38){
            return Optional.of(ColumnType.STRING);
        }
            return Optional.of(ColumnType.DECIMAL);
    }

已提交PR至github