基于Flink CDC实现实时数据采集(三）-Function接口实现

最新推荐文章于 2024-06-28 10:21:26 发布

IT_xhf

最新推荐文章于 2024-06-28 10:21:26 发布

阅读量525

点赞数

分类专栏： Flink 文章标签： flink oracle 数据库

本文链接：https://blog.csdn.net/IT_xhf/article/details/126129191

版权

本文详细介绍了如何使用Flink CDC来实现实时数据采集，特别是针对Mysql、Oracle数据库以及Kafka的数据处理。在MysqlFunction部分，重点讲述了日期和时间格式的转换，统一为unixtime类型。Oracle Function和KafkaFunction则分别阐述了各自的数据处理策略，Oracle Function针对Oracle数据库的数据特性，而KafkaFunction由于输入数据默认为字符串，故采取空实现。最后，FunctionBuilder部分说明了通过SPI技术将AbstractFunction的实现类组织到Map中，以供调用。

摘要由CSDN通过智能技术生成

为了统一sink的输入格式，在Source输出后做了一个统一Function处理，输出的数据格式为RowData,目前针对mysql、oracle、kafka三种数据源分别完成了三种实现类

MysqlFunction

/**
 * @author xiaohf7
 * @date 2022/4/12 16:58
 * @Description mysql binlog 的数据源转换
 */
public class MysqlFunction extends BaseFunction{
   
    @Override
    public void specialTypeMap(int index, GenericRowData rowData, LogicalType type, JSONObject jsonValue, String key) {
   
        Class<?> conversion = type.getDefaultConversion();
        if (conversion == LocalDate.class) {
   
            Long timeLong = jsonValue.getLong(key);
            if (timeLong != null) {
   
                rowData.setField(index, timeLong * 24 * 3600 * 1000);
            }else {
   
                rowData.setField(index, null);
            }
        } else if (conversion == LocalDateTime.class) {
   
            Timestamp timestamp = jsonValue.