java消费kafka的数据

	<!--kafka依赖-->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
		</dependency>

		<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka-clients</artifactId>
		</dependency>
    @Test
    public void KafkaTests(){
        //1.配置属性值
        Properties properties = new Properties();
        //kafka是服务器地址
        properties.put("bootstrap.servers", "192.168.239.200:9092");
        //定义消费者组
        properties.put("group.id", "test");
        //自动提交(offset)
        properties.put("enable.auto.commit", "true");
        //自动处理的间隔时间1秒
        properties.put("auto.commit.interval.ms", "1000");
        //key和values的持久化设置
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        //2.创建消费者
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);
        //3.订阅消费topic(可以有多个topic)
        kafkaConsumer.subscribe(Arrays.asList("cctv1"));
        //4.执行消费的操作
        while (true) {
            //100ms消费一次
            //kafkaConsumer.poll(100)读出来,读到records
            ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("-----------------");
            //打印偏移量,key,value
                System.out.printf("offset = %d, value = %s", record.offset(), record.key(),record.value());
                System.out.println();
            }
        }


    }

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Java中使用Kafka时,处理中文编码通常涉及到数据的输入、处理和输出三个环节。由于Kafka本身是一个消息队列,它并不直接处理字符编码,但其消费者或生产者需要配置正确的字符集以正确地读写包含中文的消息。 1. **配置消息生产者**: - 设置`ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG`和`ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG`属性,如使用`org.apache.kafka.common.serialization.StringSerializer`(默认是UTF-8编码)或自定义`KafkaEncoder`实现中文序列化。 ```java Properties props = new Properties(); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); ``` 2. **配置消费者**: - 如果使用`KafkaConsumer`,则需要设置`consumer.config`属性,指定`key.deserializer`和`value.deserializer`为支持中文的序列化器,例如`ByteArrayDeserializer`(如果消息是字节流)或`StringDeserializer`(默认)。 ```java Map<String, Object> consumerProps = new HashMap<>(); consumerProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); consumerProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); ``` 3. **序列化/反序列化**: - 使用`java.nio.charset.Charset`或`StringCoding`类来处理字符串转换,确保从网络接收的字节流能够正确解码为中文。 ```java Charset charset = Charset.forName("UTF-8"); String message = new String(bytes, charset); ``` 4. **错误处理**: - 对于可能出现的编码不匹配错误(如乱码),需要捕获并进行相应的错误处理或重试。 在实际操作中,确保所有涉及字符串的操作都使用统一的字符集是非常关键的。如果有多个参与者,最好提前约定并配置一致的字符编码标准。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员s

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值