java kafka 设置分区_java-Kafka JDBC连接器中的自定义分区分配

Kafka默认使用以下方法分配分区：DefaultPartitioner(org.apache.kafka.clients.producer.internals.DefaultPartitioner)

如果您需要使用某些自定义覆盖默认值,则可以,但是必须记住,该覆盖适用于所有源连接器.

为此,您必须设置producer.partitioner.class属性,例如producer.partitioner.class = com.example.CustomPartitioner.

另外,您必须将带有分区程序的jar复制到带有Kafka Connect库的目录中.

转换方式：

在Transformation中也可以设置分区,但这不是正确的方法.

在转换中,您无权访问主题元数据,这对于分配分区至关重要.

无论如何,如果您想为记录设置分区,则代码应如下所示：

public class AddPartition > implements Transformation {

public static final ConfigDef CONFIG_DEF = new ConfigDef();

@Override

public void configure(Map props) {

final SimpleConfig config = new SimpleConfig(CONFIG_DEF,props);

}

@Override

public R apply(R record) {

return record.newRecord(record.topic(),calculatePartition(record),record.keySchema(),record.key(),record.valueSchema(),record.value(),record.timestamp());

}

private Integer calculatePartition(R record) {

// Partitions calcuation based on record information

return 0;

}

@Override

public void close() {

}

@Override

public ConfigDef config() {

return CONFIG_DEF;

}

}