kafka整合记录

今天看见spring提供的kakfa示范代码,于是记录一下相关的知识.
接下来的几个项目流程都是先加入kafka的依赖 +配置文件配置. 具体区别会分开描述.先附上官网示范代码的地址
[spring提供的kafka项目示范(github)](https://github.com/spring-projects/spring-kafka/tree)

1. 首先定义topic 的消息消费逻辑中 代码执行异常后 重试的次数和请求时间间隔.

@Bean
	public SeekToCurrentErrorHandler errorHandler(KafkaOperations<Object, Object> template) {
		return new SeekToCurrentErrorHandler(
				new DeadLetterPublishingRecoverer(template), new FixedBackOff(1000L, 2));
	}

2. 如果要给一个topic 记录 消费消息的过程中 发送异常并重试的 日志  可以直接使用topic名字.DLT如下代码所示

	@KafkaListener(id = "dltGroup", topics = "topic名字.DLT")
	public void dltListen(String in) {
		logger.info("Received from DLT: " + in);
		// todo 业务逻辑
	}

3. 	@KafkaHandler 注解的使用. 此注解 的作用是在同一个topic下面,根据不同的消息体内容,切换到不同的业务逻辑里面,进行业务逻辑解藕.
比如 

@Component
@KafkaListener(id = "multiGroup", topics = { "foos", "bars" })
public class MultiMethods {

	private final TaskExecutor exec = new SimpleAsyncTaskExecutor();

	@KafkaHandler
	public void foo(Foo2 foo) {
		System.out.println("Received: " + foo);
		terminateMessage();
	}

	@KafkaHandler
	public void bar(Bar2 bar) {
		System.out.println("Received: " + bar);
		terminateMessage();
	}

	@KafkaHandler(isDefault = true)
	public void unknown(Object object) {
		System.out.println("Received unknown: " + object);
		terminateMessage();
	}

	private void terminateMessage() {
		this.exec.execute(() -> System.out.println("Hit Enter to terminate..."));
	}

}

在上述代码中,如果请求的参数类型是 foo对象 则走第一个方法.如果是 bar2对象 则走第二个方法,如果没有匹配上前面的任何一个方法 则会走最后的isDefault=true 方法.表示没有匹配上前面定义的任何一个代码,相当于switch 里面的default .当前 如果想要实现这个功能 需要对key和value进行格式化转换.

@Bean
	public RecordMessageConverter converter() {
		ByteArrayJsonMessageConverter converter = new ByteArrayJsonMessageConverter();
		DefaultJackson2JavaTypeMapper typeMapper = new DefaultJackson2JavaTypeMapper();
		typeMapper.setTypePrecedence(TypePrecedence.TYPE_ID);
		typeMapper.addTrustedPackages("com.common");
		Map<String, Class<?>> mappings = new HashMap<>();
		mappings.put("foo", Foo2.class);
		mappings.put("bar", Bar2.class);
		typeMapper.setIdClassMapping(mappings);
		converter.setTypeMapper(typeMapper);
		return converter;
	}

下面的方法代码更加直观

 @KafkaHandler
    public void handleStringMessage(String message) {
        // 处理字符串类型的消息
        System.out.println("Received string message: " + message);
    }

    @KafkaHandler
    public void handleIntegerMessage(Integer message) {
        // 处理整数类型的消息
        System.out.println("Received integer message: " + message);
    }

在配置文件中添加 配置如下

spring:
  kafka:
    producer:
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
      properties:
      // 需要格式化的几个参数
        spring.json.type.mapping: foo:com.common.Foo1,bar:com.common.Bar1
    consumer:
      value-deserializer: org.apache.kafka.common.serialization.ByteArrayDeserializer

4.发送批量的消息 
5. 自定义的重试次数,重试时间等操作

/**
	 * attempts 重试次数
	 * delay 消费延迟时间
	 * multiplier：延迟时间系数，此例中 attempts = 4， delay = 5000， multiplier = 2 ，则间隔时间依次为5s、10s、20s、40s，最大延迟时间受 maxDelay 限制
	 * maxDelay 最大延迟时间 比如 这里定义的是8秒,但是重试次数是5次 在超过最大的时间之后,是不会再执行重复消费的行为了
	 * @param in
	 * @param topic
	 * @param offset
	 */
	@RetryableTopic(attempts = "5", backoff = @Backoff(delay = 2_000, maxDelay = 8_000, multiplier = 2))
	@KafkaListener(id = "fooGroup", topics = "topic4")
	public void listen(String in, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic,
			@Header(KafkaHeaders.OFFSET) long offset) {

		this.logger.info("Received: {} from {} @ {}", in, topic, offset);
		if (in.startsWith("fail")) {
			throw new RuntimeException("failed");
		}
	}

	/**
	 * 记录所有的消费 topic 异常的消息队列
	 * @param in
	 * @param topic
	 * @param offset
	 */
	@DltHandler
	public void listenDlt(String in, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic,
			@Header(KafkaHeaders.OFFSET) long offset) {
		this.logger.info("DLT Received: {} from {} @ {}", in, topic, offset);
	}

踩坑记录:
1.我们项目是一个微服务程序 , 所以定义了生产者和消费者在common模块中 . 在其他模块中调用,但是在其他服务中调用的时候总是报错如下 .

Error deserializing key/value for partition XXX at offset 4223. If needed, please seek past the record to continue consumption.
Caused by: java.lang.IllegalArgumentException: The class 'XXX' is not in the trusted packages: [java.util, java.lang, org.XXX]. If you believe this class is safe to deserialize, please provide its name. If the serialization is only done by a trusted source, you can also enable trust all (*).

找了很多方法,也在kafka的配置文件中加入了以下配置

spring:
  kafka:
    producer:
      properties:
        # kafka 序列化异常,必须配置trusted 的安装包
        spring:
          json:
            trusted:
              packages: "*"
#和
spring:
  kafka:
    consumer:
	    properties:
	        spring:
	          json:
	            trusted:
	              packages: "*"

,但是都没有解决问题,最终的解决办法是在kafka的生产者和消费者的构建config中加入配置文件

 public ConsumerFactory<String, Message> consumerFactory() {
        Map<String, Object> props = new HashMap<>();
        props.put(
                ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
                bootstrapServers);
        props.put(
                ConsumerConfig.GROUP_ID_CONFIG,
                consumerGroupId);
        props.put(
                ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,
                autoOffsetReset);
        // 因为这个config是 设置到公共服务中 所以必须设置相信包路径 
        props.put(JsonDeserializer.TRUSTED_PACKAGES,"*");
        return new DefaultKafkaConsumerFactory<>(
                props,
                new StringDeserializer(),
                new JsonDeserializer<>(Message.class));
    }
    //另外一个 类中的Bean对象也要进行设置
 @Bean
    public ProducerFactory<String, Object> producerFactory() {
        Map<String, Object> configProps = new HashMap<>();
        configProps.put(
                ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
                bootstrapServers);
        configProps.put(
                ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
                StringSerializer.class);
        configProps.put(
                ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
                JsonSerializer.class);
        configProps.put(JsonDeserializer.TRUSTED_PACKAGES,"*");
        return new DefaultKafkaProducerFactory<>(configProps);
    }

经过以上配置,问题解决.

暂时记录到这里后面有补充再更新