kafka消费/生产接口

application.properties

spring.kafka.bootstrap-servers=172.XX:9092,172.XX:9092,172.XX:9092
spring.kafka.properties.security.protocol=SASL_PLAINTEXT
spring.kafka.properties.sasl.mechanism=SCRAM-SHA-256
spring.kafka.properties.sasl.jaas.config=org.apache.kafka.common.securityXXX required username="icmXXX" password="iprmXXX";


spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.group-id=5G-test-group10
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.enable-auto-commit=true

生产者

package com.mmtrix.newsInfo.service.impl;

import com.mmtrix.newsInfo.service.NewsProducerService;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Service;
import org.springframework.kafka.core.KafkaTemplate;

import java.util.Properties;

/**
 * 生产者 NewsProducerServiceImpl
 * @author zhusongtao
 */
@Service
public class NewsProducerServiceImpl implements NewsProducerService {

    private static final Logger logger = LoggerFactory.getLogger(NewsProducerServiceImpl.class);

    private final KafkaTemplate<String, Object> kafkaTemplate;

    public NewsProducerServiceImpl(KafkaTemplate<String, Object> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }


	    /**
	     * kafka回传接口
	     *
	     * @param topic topic
	     * @param o o
	     */
	    @Override
	    public void sendMessage(String topic, String brokerList, String o) {
	        Properties properties  = new Properties();
	        //本地环境KafkaClient地址 , 正确的配置在application.properties里面，sasl证书一样
	        System.setProperty("java.security.auth.login.config","E://5G//src//main//resources//kafka_client_jaas.conf");
	        properties.put("security.protocol", "SASL_PLAINTEXT");
	        properties.put("sasl.mechanism", "SCRAM-SHA-256");
	        // kafka地址清单，多个地址用逗号分割
	        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokerList);
	        //acks指定必须有多少个分区副本接收消息，生产者才认为消息写入成功，用户检测数据丢失的可能性
	        //acks=0：生产者在成功写入消息之前不会等待任何来自服务器的响应。无法监控数据是否发送成功，但可以以网络能够支持的最大速度发送消息，达到很高的吞吐量。
	        //acks=1：只要集群的首领节点收到消息，生产者就会收到来自服务器的成功响应。
	        //acks=all：只有所有参与复制的节点全部收到消息时，生产者才会收到来自服务器的成功响应。这种模式是最安全的，
	        properties.put(ProducerConfig.ACKS_CONFIG, "all");
	        //retries：生产者从服务器收到的错误有可能是临时性的错误的次数
	        properties.put(ProducerConfig.RETRIES_CONFIG, 0);
	        //batch.size：该参数指定了一个批次可以使用的内存大小，按照字节数计算（而不是消息个数)。
	        properties.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
	        //linger.ms：该参数指定了生产者在发送批次之前等待更多消息加入批次的时间，增加延迟，提高吞吐量
	        properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);
	        //buffer.memory该参数用来设置生产者内存缓冲区的大小，生产者用它缓冲要发送到服务器的消息。
	        properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
	        // 配置value的序列化类
	        properties .put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
	        // 配置key的序列化类
	        properties .put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
	        // 0表示不确认主服务器是否收到消息,马上返回,低延迟但最弱的持久性,数据可能会丢失
	        // 1表示确认主服务器收到消息后才返回,持久性稍强,可是如果主服务器死掉,从服务器数据尚未同步,数据可能会丢失
	        // -1表示确认所有服务器都收到数据,完美!
	        properties .put("request.required.acks", "-1");
	        // 异步生产,批量存入缓存后再发到服务器去
	        properties .put("producer.type", "async");
	        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties );
	
	        try {
			String o = "测试数据";
            //生产数据
            ProducerRecord<String, String> record = new ProducerRecord<String, String>(topic, );
            kafkaProducer.send(record);
            logger.info("推送成功:"+record);

            Thread.sleep(500L);
        } catch (Exception e){
            e.printStackTrace();
        }finally {
            // 必须关闭
            kafkaProducer.close();
        }
    }

}

消费者

//实时监听kafka消息注解
@KafkaListener(topics = "5gxx-test-XX")
 public void consumeMessage(String newConsumerRecord) {
    try {
        //读取消息转换成Json对象
        JSONObject jsonObject = JSONObject.parseObject (newConsumerRecord);
        System.out.println(jsonObject );
        //取json最外层的数据attribute
        JSONObject attribute = jsonObject.getJSONObject("attribute");
        System.out.println(attribute );
        //取值uuid
        String uuid = attribute.getString("uuid");
         System.out.println(uuid );
        //contentType 稿件类型
        String contentType = attribute.getString("contentType");

  }