基于Flink CDC实现实时数据采集(二）-Source接口实现

IT_xhf

已于 2022-08-02 19:58:42 修改

阅读量588

点赞数

分类专栏： Flink 文章标签： flink java kafka

于 2022-08-02 19:45:58 首次发布

本文链接：https://blog.csdn.net/IT_xhf/article/details/126129128

版权

本文介绍了基于Flink CDC实现的实时数据采集，重点讲解了Kafka Source的实现，包括对JSON格式的支持以及如何将消息转化为CDC格式。此外，还提及了MysqlSource和Oracle Source的实现，并讨论了动态注入的方法，利用SPI技术存储AbstractSource的实现类实例。

摘要由CSDN通过智能技术生成

Kafka Source实现

/**
 * @author xiaohf7
 * @date 2022/7/27 20:30
 * @Description
 */
public class CustomKafkaSource extends AbstractSource<KafkaSource> {
   


    OffsetsInitializer getStartupOption(BaseConnect connect) {
   
        switch(connect.getStartupMode()) {
   
            case LATEST_OFFSET:
                return OffsetsInitializer.latest();
            case EARLIEST_OFFSET:
                return OffsetsInitializer.earliest();
            case TIMESTAMP:
                return OffsetsInitializer.timestamp(connect.getStartupTimestampMillis());
            default:
                return null;
        }
    }


    @Override
    public KafkaSource getSource(BaseTaskParams params) {
   
        BaseConnect paramsConnect = params.getConnect();
        String topic = paramsConnect.getTopic();

        return  KafkaSource.<String>builder()
                .setTopicPattern(Pattern.compile(topic))
                .setBootstrapServers(paramsConnect.getBootstrapServer())
                .setStartingOffsets(getStartupOption(paramsConnect))
                .setGroupId(paramsConnect.getGroupId())
                .setDeserializer(new KafkaRecordDeserializationSchema<String>() {
   
                    @Override
                    public void deserialize(ConsumerRecord<byte[], byte[]> record, Collector<String> out) throws IOException {
   
                        String topic = record.topic();
                        String value = new String(record.value());
                        String key = record.key() == null ? "" : new String(record.key())