java-Kafka JDBC连接器中的自定义分区分配

我有一个用例,其中我需要根据消息中的某些关键参数编写自定义逻辑来分配分区.我对此进行了一些研究,发现kafka转换支持重写Transformation接口中的某些方法,但是我无法在git hub或其他地方执行一些示例代码.有人可以共享示例代码或git hub链接在kafka JDBC源连接器中进行自定义分区分配吗？

 

提前致谢！.

最佳答案

Kafka默认使用以下方法分配分区：DefaultPartitioner(org.apache.kafka.clients.producer.internals.DefaultPartitioner)

 

如果您需要使用某些自定义覆盖默认值,则可以,但是必须记住,该覆盖适用于所有源连接器.
为此,您必须设置producer.partitioner.class属性,例如producer.partitioner.class = com.example.CustomPartitioner.
另外,您必须将带有分区程序的jar复制到带有Kafka Connect库的目录中.

转换方式：

在Transformation中也可以设置分区,但这不是正确的方法.
在转换中,您无权访问主题元数据,这对于分配分区至关重要.

无论如何,如果您想为记录设置分区,则代码应如下所示：

 

public class AddPartition <R extends ConnectRecord<R>> implements Transformation<R> {

    public static final ConfigDef CONFIG_DEF = new ConfigDef();

    @Override
    public void configure(Map<String, ?> props) {
        final SimpleConfig config = new SimpleConfig(CONFIG_DEF, props);
    }

    @Override
    public R apply(R record) {
        return record.newRecord(record.topic(), calculatePartition(record), record.keySchema(), record.key(), record.valueSchema(), record.value(), record.timestamp());
    }

    private Integer calculatePartition(R record) {
        // Partitions calcuation based on record information
        return 0;
    }

    @Override
    public void close() {
    }

    @Override
    public ConfigDef config() {
        return CONFIG_DEF;
    }
}