kafka>kafka的JavaAPI操作

最新推荐文章于 2024-08-20 13:48:29 发布

BigMoM1573

最新推荐文章于 2024-08-20 13:48:29 发布

阅读量891

点赞数

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.csdn.net/qq_44509920/article/details/105333392

版权

本文详细介绍了如何使用Kafka的Java API进行操作，包括创建Maven工程、配置Kafka生产者和消费者的代码示例，以及数据分区、offset提交、Kafka Streams API的开发步骤。内容涵盖了自动提交和手动提交offset、指定分区消费、重复消费与数据丢失问题以及消费者消费数据流程。

摘要由CSDN通过智能技术生成

1、创建maven工程并添加jar包

创建maven工程并添加以下依赖jar包的坐标到pom.xml

 <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
            <version>2.0.0</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <!-- java编译插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <repositories>
        <repository>
            <id>maven-ali</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public//</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
                <updatePolicy>always</updatePolicy>
                <checksumPolicy>fail</checksumPolicy>
            </snapshots>
        </repository>
    </repositories>

2、生产者代码

1、使用生产者，生产数据

/*
用于生产数据到kafka集群
 */
public class Producer1 {
   

    /*
    程序的入口
     */
    public static void main(String[] args){
   

        //编写生产数据的程序

        //1、配置kafka集群环境（设置）
        Properties props = new Properties();
        //kafka服务器地址
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        //消息确认机制
        props.put("acks", "all");
        //重试机制
        props.put("retries", 0);
        //批量发送的大小
        props.put("batch.size", 16384);
        //消息延迟
        props.put("linger.ms", 1);
        //批量的缓冲区大小
        props.put("buffer.memory", 33554432);
        // kafka   key 和value的序列化
        props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer"