Kafka API实战

最新推荐文章于 2022-06-25 07:30:00 发布
最新推荐文章于 2022-06-25 07:30:00 发布
阅读量485 收藏 1
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35641192/article/details/80958395
版权

1 环境准备
1 在eclipse中创建一个maven工程
2 加入依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.da</groupId>
    <artifactId>KafkaTest</artifactId>
    <version>0.0.1-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.11.0.2</version>
        </dependency>
    </dependencies>
</project>

3 启动zk和kafka集群，在kafka集群中打开一个消费者
[joker@hadoop102 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --topic first

2 Kafka生产者Java API
1创建生产者（新API）

package com.da;

import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class CustomProducer {
    public static void main(String[] args) {
        Properties props = new Properties();
        // Kafka服务端的主机名和端口号
        props.put("bootstrap.servers", "hadoop102:9092");
        // 等待所有副本节点的应答
        props.put("acks", "all");
        // 消息发送最大尝试次数
        props.put("retries", 0);
        // 一批消息处理大小
        props.put("batch.size", 16384);
        // 请求延时
        props.put("linger.ms", 1);
        // 发送缓存区内存大小
        props.put("buffer.memory", 33554432);
        // key序列化
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        // value序列化
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 50; i++) {
            producer.send(new ProducerRecord<String, String>("first", Integer.toString(i), "hello world-" + i));
        }

        producer.close();
    }
}

2 创建生产者带回调函数（新API）

package com.da;

import java.util.Properties;

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class CallBackProducer {

    public static void main(String[] args) throws InterruptedException {
        Properties props = new Properties();
        // Kafka服务端的主机名和端口号
        props.put("bootstrap.servers", "hadoop102:9092,hadoop103:9092,hadoop104:9092");
        // 等待所有副本节点的应答
        props.put("acks", "all");
        // 消息发送最大尝试次数
        props.put("retries", 0);
        // 一批消息处理大小
        props.put("batch.size", 16384);
        // 增加服务端请求延时
        props.put("linger.ms", 1);
        // 发送缓存区内存大小
        props.put("buffer.memory", 33554432);
        // key序列化
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        // value序列化
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);

        for (int i = 0; i < 50; i++) {
            // Thread.sleep(500);
            kafkaProducer.send(new ProducerRecord<String, String>("first", "hh" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {

                    if (metadata != null) {

                        System.out.println(metadata.partition() + "---" + metadata.offset());
                    }
                }
            });
        }

        kafkaProducer.close();

    }

}

3 自定义分区生产者
0）需求：将所有数据存储到topic的第0号分区上
1）定义一个类实现Partitioner接口，重写里面的方法

package com.da;

import java.util.Map;
import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;

public class CustomPartitioner implements Partitioner {

    @Override
    public void configure(Map<String, ?> configs) {

    }

    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 控制分区
        return 1;
    }

    @Override
    public void close() {

    }
}

2）在代码中调用

package com.da;

import java.util.Properties;

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class CallBackProducer {

    public static void main(String[] args) throws InterruptedException {
        Properties props = new Properties();
        // Kafka服务端的主机名和端口号
        props.put("bootstrap.servers", "hadoop102:9092,hadoop103:9092,hadoop104:9092");
        // 等待所有副本节点的应答
        props.put("acks", "all");
        // 消息发送最大尝试次数
        props.put("retries", 0);
        // 一批消息处理大小
        props.put("batch.size", 16384);
        // 增加服务端请求延时
        props.put("linger.ms", 1);
        // 发送缓存区内存大小
        props.put("buffer.memory", 33554432);
        // key序列化
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        // value序列化
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        // 自定义分区
        props.put("partitioner.class", "com.da.CustomPartitioner");

        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);

        for (int i = 0; i < 50; i++) {
            // Thread.sleep(500);
            kafkaProducer.send(new ProducerRecord<String, String>("first", "hh" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {

                    if (metadata != null) {

                        System.out.println(metadata.partition() + "---" + metadata.offset());
                    }
                }
            });
        }

        kafkaProducer.close();

    }

}

3）测试
（1）在hadoop102上监控/opt/module/kafka/logs/目录下first主题3个分区的log日志动态变化情况
[joker@hadoop102 first-0]$ tail -f 00000000000000000000.log
[joker@hadoop102 first-1]$ tail -f 00000000000000000000.log
[joker@hadoop102 first-2]$ tail -f 00000000000000000000.log
（2）发现数据都存储到指定的分区了。

3 Kafka消费者Java API
0 在控制台创建发送者
[joker@hadoop104 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
hello world

1 创建消费者

package com.da;

import java.util.Arrays;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class CustomConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        // 定义kakfa 服务的地址，不需要将所有broker指定上
        props.put("bootstrap.servers", "hadoop102:9092");
        // 制定consumer group
        props.put("group.id", "g1");
        // 是否自动确认offset
        props.put("enable.auto.commit", "true");
        // 自动确认offset的时间间隔
        props.put("auto.commit.interval.ms", "1000");
        // key的序列化类
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        // value的序列化类
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        // 定义consumer
        final KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        // 释放资源
        Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
            @Override
            public void run() {
                if (consumer != null)
                    consumer.close();
            }
        }));

        // 消费者订阅的topic, 可同时订阅多个
        consumer.subscribe(Arrays.asList("first"));

        while (true) {
            // 读取数据，读取超时时间为100ms
            ConsumerRecords<String, String> records = consumer.poll(100);

            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
    }
}
JokerDa
关注
专栏目录
从小白的角度讲解kafka并使用java、python_API实战
weixin_43178406的博客
04-29 5万+
1. 什么是kafka 1.1 基本概述 1.2 深度讲解 2. kafka的安全机制 3. python_API 3.1 作为生产者连接kafka并发送数据
Kafka个人笔记中篇
C_Xiang_Falcon的博客
09-17 989
Kafka个人解读中篇Kafka高效读写数据1.顺序写磁盘注意2.Zero拷贝Zookeeper在Kafka中的作用Kafka事务Producer事务Consumer事务Kafka APIProducer API消息发送流程相关参数异步发送API同步发送APIConsumer API自动提交offset手动提交offset同步提交offset异步提交offset自定义存储offset Kafka高...
Kafka 实战指南——Kafka API 实战
dwjf321的博客
03-02 240
文章目录1. 环境准备2. 生产者 Java API3. 自定义分区4. Kafka 消费者 Java API 1. 环境准备 创建 maven 工程，添加依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.1.0</version> </de
kafka API详解
热门推荐
.zz的博客
06-25 2万+
1. 生产者apiProducer是Kafka三大组件中的一个，用于发送消息到kafka集群中Producer提供了丰富的配置（见后面的配置项）用于控制它的行为在编码之前先使用命令创建topic./kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03:2181 --partitions 2 --replication-fac...
Kafka API (Producer and Consumer)
沐雨金鳞
07-15 311
Producer API ：消息发送 Kafka的Producer发送消息采用的是异步发送的方式。 在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。 main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。 相关参数： batch.size：只有数据积累到batch.size...
第11单元 KafkaApi实战1
08-08
本单元主要聚焦于Kafka API的实战，包括Kafka生产者、消费者API的使用，以及Kafka消息的生产和消费过程分析。 ### 1. Kafka生产者 Java API Kafka生产者API允许开发者将消息发布到主题（Topic）。Spring框架提供了...
kafka实战pdf
05-07
《Apache Kafka实战》这本书是关于分布式流处理平台Kafka的深度实践指南，旨在帮助读者深入理解和熟练运用Kafka。Kafka是由LinkedIn开发并开源的一种高吞吐量、分布式的发布订阅消息系统，现在已经成为大数据领域不...
图解 Kafka 之实战指南.7z
12-22
Kafka还提供了流处理功能，通过Kafka Streams和Kafka Connect等API，可以构建复杂的实时数据处理管道。Kafka Connect允许用户轻松地将外部系统（如数据库、日志文件等）与Kafka连接，实现数据的导入导出。 在实战...
大数据Hadoop之——Kafka API介绍与实战操作
匠人精神，持之以恒！
06-25 872
Kafka包括五个核心api：Java 客户端接口文档：https://kafka.apache.org/32/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html 非 Java 客户端接口文档：https://cwiki.apache.org/confluence/display/KAFKA/Clients使用java kafka需引入依赖： slf4j-api、slf4j-log4j12、log4j三者之间的关系如
kafka新版API
weixin_43824520的博客
09-16 260
接上篇 Kafka新版消费者API示例（一）https://blog.csdn.net/Simon_09010817/article/details/83748974 kafka手动提交策略提供了更加灵活的管理方式，在某些场景我们需要对消费偏移量有更精准的管理。以保证消息不被重复消费以及消息不丢失。...
Kafka的API
weixin_43466909的博客
04-02 438
Kafka的API <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.7.2</version> </dependency> Producer API 消息发送流程 Kafka的Producer发送消息采用异步发送的方式。在消息发...
Kafka API
qq_37200262的博客
06-24 1010
Topic基本的dml操作，如何创建，删除，查询一个topic含有哪些东西 创建生产者API 创建生产者模拟发送消息，发送消息的时候需要指定消息所属的topic和消息k,v.因为创建topic的时候指定了分区数量，所以会根据消息的key指定消息所属的分区。发送消息有两种方式，即同步和异步。 创建消费者API 创建消费者，指定消费者组，消费者所属的组。指定消费者消费的topic，在这里，消费者具体消费哪一个分区的内容是根据消费者的分区分配策略指定的。 自定义消费者组分区 在这里没有指定消费者所属的group,
Java调用Kafka API详解与实战教程
在Java中调用Apache Kafka API是一项基础且重要的任务，尤其对于构建分布式消息传递系统至关重要。这篇博客文章旨在为已经搭建好Kafka环境的开发者提供详细的指南，以便他们能够有效地与Kafka进行交互。文章分为五个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值