编写自定义序列化程序所需的事项如下:
>使用为通用指定的对象实现编码器
>需要提供VerifiableProperties构造函数
>覆盖toBytes(…)方法,确保返回一个字节数组
>将序列化器类注入ProducerConfig
声明生产者的自定义序列化器
正如您在问题中指出的那样,Kafka提供了一种方法来为生产者声明一个特定的序列化程序。序列化器类在ProducerConfig实例中设置,该实例用于构建所需的Producer类。
如果您遵循Kafka’s Producer Example,您将通过Properties对象构建ProducerConfig。建立属性文件时一定要包括:
props.put("serializer.class", "path.to.your.CustomSerializer");
通过课程的路径,您希望Kafka将其附加到日志之前使用序列化消息。
创建Kafka理解的自定义序列化程序
编写Kafka可以正确解释的自定义序列化程序需要实现Kafka提供的Encoder [T] scala类。 Implementing traits in java is weird,但以下方法用于在我的项目中序列化JSON:
public class JsonEncoder implements Encoder {
private static final Logger logger = Logger.getLogger(JsonEncoder.class);
// instantiating ObjectMapper is expensive. In real life, prefer injecting the value.
private static final ObjectMapper objectMapper = new ObjectMapper();
public JsonEncoder(VerifiableProperties verifiableProperties) {
/* This constructor must be present for successful compile. */
}
@Override
public byte[] toBytes(Object object) {
try {
return objectMapper.writeValueAsString(object).getBytes();
} catch (JsonProcessingException e) {
logger.error(String.format("Json processing failed for object: %s", object.getClass().getName()), e);
}
return "".getBytes();
}
}
您的问题让您听起来像您正在使用一个对象(让它调用CustomMessage)附加到日志中的所有消息。如果是这样,您的序列化程序可能看起来更像这样:
package com.project.serializer;
public class CustomMessageEncoder implements Encoder {
public CustomMessageEncoder(VerifiableProperties verifiableProperties) {
/* This constructor must be present for successful compile. */
}
@Override
public byte[] toBytes(CustomMessage customMessage) {
return customMessage.toBytes();
}
}
这将使您的属性配置如下所示:
props.put("serializer.class", "path.to.your.CustomSerializer");