自律

Interceptor拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.ka

1.环境准备 1）启动zk和Kafka集群，在Kafka集群中打开一个消费者 [bigdata@hadoop003 kafka]$ bin/kafka-console-consumer.sh –zookeeper hadoop003:2181 --topic second 2）导入pom依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->

一、消息队列介绍 1.1 什么是消息队列 消息队列(mq message queue)的本质是缓冲数据。之所以称之为消息队列系统或者消息队列组件，是因为往消息队列提供了消息（数据）的管理功能，比如：记录上次读数据的偏移量、消息读取之后是否删除、消息的备份和安全等机制 主流消息队列组件有：ActiveMQ、RabbitMQ、RocketMQ、Kafka等，大数据领域主要使用Kafka。 1.2 消息队列的工作模式 1.3 为什么要用消息队列 1）解耦： 　　允许你独立的扩展或修改两边的处理过程，只要确保它

kafak的config/server.properties，查看broker.id是否唯一，不能和其他节点的相同。修改成唯一值即可。 同理，zookeeper的myid在设置时也是唯一