基于Flink CDC实现实时数据采集(三）-Function接口实现

最新推荐文章于 2024-04-30 17:01:14 发布

VIP文章 IT_xhf

最新推荐文章于 2024-04-30 17:01:14 发布

阅读量496

点赞数

分类专栏： Flink 文章标签： flink oracle 数据库

本文链接：https://blog.csdn.net/it_xhf/article/details/126129191

版权

基于Flink CDC实现实时数据采集(三）-Function接口实现

MysqlFunction
Oracle Function
KafkaFunction
FunctionBuilder

为了统一sink的输入格式，在Source输出后做了一个统一Function处理，输出的数据格式为RowData,目前针对mysql、oracle、kafka三种数据源分别完成了三种实现类

MysqlFunction

/**
 * @author xiaohf7
 * @date 2022/4/12 16:58
 * @Description mysql binlog 的数据源转换
 */
public class MysqlFunction extends BaseFunction{
   
    @Override
    public void specialTypeMap(int index, GenericRowData rowData, LogicalType type, JSONObject jsonValue, String key) {
   
        Class<?> conversion = type.getDefaultConversion();
        if (conversion == LocalDate.class) {
   
            Long timeLong = jsonValue.getLong(key);
            if (timeLong != null) {
   
                rowData.setField(index, timeLong * 24 * 3600 * 1000);
            }else {
   
                rowData.setField(index, null);
            }
        } else if (conversion ==