kafka生产者(1)，2024年最新2024最新大数据开发大厂面试真题大全

最新推荐文章于 2024-05-29 14:50:50 发布

2401_84166396

最新推荐文章于 2024-05-29 14:50:50 发布

阅读量873

点赞数 26

分类专栏： 2024年程序员学习文章标签： kafka 大数据面试

本文链接：https://blog.csdn.net/2401_84166396/article/details/137765286

版权

2024年程序员学习专栏收录该内容

77 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

        // 延迟一会会看到数据发往不同分区
        Thread.sleep(2);
    }

    // 5. 关闭资源
    kafkaProducer.close();
}

}
3:测试：
①在192.168.233.26上开启Kafka消费者。
bin/kafka-console-consumer.sh --bootstrap-server 192.168.233.26:9092 --topic first
②在IDEA中执行代码，观察 192.168.233.26控制台中是否接收到消息
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

	lpy 0
	lpy 1
	lpy 2
	lpy 3
	lpy 4
③在IDEA控制台观察回调信息。
	主题：first->分区：0
    主题：first->分区：0
    主题：first->分区：1
    主题：first->分区：1
    主题：first->分区：1


5. 同步发送API


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/bcbb39ccfbbc4060942cbd8bbde96982.png#pic_center)

只需在异步发送的基础上，再调用一下get()方法即可
public class CustomProducerSync {

public static void main(String[] args) throws InterruptedException, ExecutionException {

    // 1. 创建kafka生产者的配置对象
    Properties properties = new Properties();

    // 2. 给kafka配置对象添加配置信息

properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,“192.168.233.26:9092”);

    // key,value序列化（必须）：key.serializer，value.serializer
    properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
    properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

    // 3. 创建kafka生产者对象
    KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);

    // 4. 调用send方法,发送消息
    for (int i = 0; i < 10; i++) {

        // 异步发送 默认

// kafkaProducer.send(new ProducerRecord<>(“first”,“kafka” + i));
// 同步发送
kafkaProducer.send(new ProducerRecord<>(“first”,“kafka” + i)).get();

    }

    // 5. 关闭资源
    kafkaProducer.close();
}

}
测试：
①在192.168.233.26上开启Kafka消费者。
bin/kafka-console-consumer.sh --bootstrap-server 192.168.233.26:9092 --topic first
②在IDEA中执行代码，观察192.168.233.26控制台中是否接收到消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.233.26:9092 --topic first

kafka 0
kafka 1
kafka 2
kafka 3
kafka 4


6. 生产者分区

1：便于合理使用存储资源：每个partition在一个broker上存储，可以把海量的数据按照分区切割成一块
一块数据存储在多台broker上，合理控制分区的任务，可以实现负载均衡的效果
2：提高并行度：生产者可以以分区为单位发送数据，消费者可以以分区为单位进行消费数据

7. 生产者发送消息的分区策略

1）默认的分区器 DefaultPartitioner
1：public ProducerRecord(String topic,Integer partition,K key, V value){}
指明partition的情况下，直接将指明的值作为partition值，例如partition=0，所有的数据会写入分区0
2：public ProducerRecord(String topic,K key, V value){}
没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值，
例如：key1的hash值为5，key2的hash值为6，topic的partition数=2，那么key1对应的value1写入1号分区，
key2对应的value2写入0号分区。
3：既没有partition值又没有key值的情况下，kafka采用sticky partition(粘性分区器)，会随机选择一个分区，
并尽可能一直使用这个分区，待带分区的batch已满或者已完成，kafka在随机一个分区进行使用（和上一次的分区不同）。
例如：第一次随机选择0号分区，等0号分区当前批次满了（默认16K）或者linger.ms设置的时间到了，kafka在随机一
个分区进行使用（如果是0会继续随机）
2) 案例
1：将数据发往指定partition的情况下，例如，将所有数据发往分区1中
public class CustomProducerCallbackPartitions {

public static void main(String[] args) {

    // 1. 创建kafka生产者的配置对象
    Properties properties = new Properties();

    // 2. 给kafka配置对象添加配置信息
  properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.233.26:9092");

    // key,value序列化（必须）：key.serializer，value.serializer
    properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
    properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

    KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

    for (int i = 0; i < 5; i++) {
        // 指定数据发送到1号分区，key为空（IDEA中ctrl + p查看参数）
        kafkaProducer.send(new ProducerRecord<>("first", 1,"","kafka " + i), new Callback() {
            @Override
            public void onCompletion(RecordMetadata metadata, Exception e) {
                if (e == null){
                    System.out.println("主题：" + metadata.topic() + "->"  + "分区：" + metadata.partition()
                    );
                }else {
                    e.printStackTrace();
                }
            }
        });
    }

    kafkaProducer.close();
}

}
测试：
①在192.168.233.26上开启Kafka消费者
bin/kafka-console-consumer.sh --bootstrap-server 1192.168.233.26:9092 --topic first
②在IDEA中执行代码，观察192.168.233.26控制台中是否接收到消息。
bin/kafka-console-consumer.sh --bootstrap-server 192.168.233.26:9092 --topic first
kafka 0
kafka 1
kafka 2
kafka 3
kafka 4
③在IDEA控制台观察回调信息
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1

2：没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值
	public class CustomProducerCallback {

public static void main(String[] args) {

    Properties properties = new Properties();

    properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.233.26:9092");

    properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
    properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

    KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

    for (int i = 0; i < 5; i++) {
        // 依次指定key值为a,b,f ，数据key的hash值与3个分区求余，分别发往1、2、0
        kafkaProducer.send(new ProducerRecord<>("first", "a","kafka " + i), new Callback() {
            @Override
            public void onCompletion(RecordMetadata metadata, Exception e) {
                if (e == null){
                    System.out.println("主题：" + metadata.topic() + "->" + "分区：" + 												metadata.partition()
                    );
                }else {
                    e.printStackTrace();
                }
            }
        });
    }

    kafkaProducer.close();
}

}
测试：
①key="a"时，在控制台查看结果。
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
②key="b"时，在控制台查看结果。
主题：first->分区：2
主题：first->分区：2
主题：first->分区：2
主题：first->分区：2
主题：first->分区：2
③key="f"时，在控制台查看结果。
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0

8. 自定义分区器

如果研发人员可以根据企业需求，自己重新实现分区器。
1）需求
例如我们实现一个分区器实现，发送过来的数据中如果包含kafka，就发往0号分区，不包含kafka，就发往1号分区
2）实现步骤
（1）定义类实现Partitioner接口。
（2）重写partition()方法。
/**
* 1. 实现接口Partitioner
* 2. 实现3个方法:partition,close,configure
* 3. 编写partition方法,返回分区号
*/
public class MyPartitioner implements Partitioner {

/**
 * 返回信息对应的分区
 * @param topic         主题
 * @param key           消息的key
 * @param keyBytes      消息的key序列化后的字节数组
 * @param value         消息的value
 * @param valueBytes    消息的value序列化后的字节数组
 * @param cluster       集群元数据可以查看分区信息
 * @return
 */
@Override
public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, 		Cluster cluster) {

    // 获取消息
    String msgValue = value.toString();

    // 创建partition
    int partition;

    // 判断消息是否包含kafka
    if (msgValue.contains("kafka")){
        partition = 0;
    }else {
        partition = 1;
    }

    // 返回分区号
    return partition;
}

// 关闭资源
@Override
public void close() {

}

// 配置方法
@Override
public void configure(Map<String, ?> configs) {

 	}
}

（3）使用分区器的方法，在生产者的配置中添加分区器参数。

public class CustomProducerCallbackPartitions {

    public static void main(String[] args) throws InterruptedException {

        Properties properties = new Properties();

        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.178.233.26:9092");

        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, 											StringSerializer.class.getName());

        // 添加自定义分区器
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"com.LPY.kafka.producer.MyPartitioner");

        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

        for (int i = 0; i < 5; i++) {

            kafkaProducer.send(new ProducerRecord<>("first", "kafka" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception e) {
                    if (e == null){
                        System.out.println("主题：" + metadata.topic() + "->" + "分区：" + 											metadata.partition()
                        );
                    }else {
                        e.printStackTrace();
                    }
                }
            });
        }

        kafkaProducer.close();
    }
}
（4）测试
①在hadoop102上开启Kafka消费者。
bin/kafka-console-consumer.sh --bootstrap-server 192.178.233.26:9092 --topic first
②在IDEA控制台观察回调信息。
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0

9. 生产者如何提高吞吐量

1：batch.size：批次大小，默认16K
linger.ms：等待时间，修改为5-100ms
compression.type：压缩snappy
RecordAccumulator：缓冲区大小，修改为64m

public class CustomProducerParameters {

public static void main(String[] args) throws InterruptedException {

    // 1. 创建kafka生产者的配置对象
    Properties properties = new Properties();

    // 2. 给kafka配置对象添加配置信息：bootstrap.servers
    properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.233.26:9092");
    
    // key,value序列化（必须）：key.serializer，value.serializer
    properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
    properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

    // batch.size：批次大小，默认16K
    properties.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);

    // linger.ms：等待时间，默认0
    properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);

    // RecordAccumulator：缓冲区大小，默认32M：buffer.memory
    properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

    // compression.type：压缩，默认none，可配置值gzip、snappy、lz4和zstd
	properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");

    // 3. 创建kafka生产者对象
    KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);

    // 4. 调用send方法,发送消息
    for (int i = 0; i < 5; i++) {

        kafkaProducer.send(new ProducerRecord<>("first","kafka " + i));

    }

    // 5. 关闭资源
    kafkaProducer.close();
}

}
测试：
①在192.168.233.26上开启Kafka消费者。
bin/kafka-console-consumer.sh --bootstrap-server 192.168.233.26:9092 --topic first
②在IDEA中执行代码，观察192.168.233.26控制台中是否接收到消息。
bin/kafka-console-consumer.sh --bootstrap-server 192.168.233.26:9092 --topic first

    kafka 0
    kafka 1
    kafka 2
    kafka 3
    kafka 4

10. 数据可靠性

1：ack应答原理
acks:0 生产者发送过来的数据，不需要等数据落盘应答。数据可靠性分析：丢数据
1：生产者发送过来数据，leader收到数据后应答。数据可靠性分析：丢数据
当leader应答完成之后，还没有开始同步副本，这个时候leader挂了，那么新的leader不会
收到生产者发送的消息，因为生产者已经认为发送成功了，会丢失数据
-1：生产者发送过来的数据，leader和ISR队列里面的所有节点收到数据后应答
思考：当leader收到数据，所有的follower都开始同步数据，但是有一个follower，因为某种故障，迟迟不能与
leader进行同步，那么这个问题怎么解决？
leader维护了一个动态的in-sync replica set(ISR)，意为和leader保持同步的follower+leader集合，

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ader收到数据，所有的follower都开始同步数据，但是有一个follower，因为某种故障，迟迟不能与
leader进行同步，那么这个问题怎么解决？
leader维护了一个动态的in-sync replica set(ISR)，意为和leader保持同步的follower+leader集合，

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-TXjmkB4b-1713142614651)]

2401_84166396

关注

26
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
kafka生产者(1)，2024年最新2024最新大数据开发大厂面试真题大全

例如：key1的hash值为5，key2的hash值为6，topic的partition数=2，那么key1对应的value1写入1号分区，指明partition的情况下，直接将指明的值作为partition值，例如partition=0，所有的数据会写入分区0。思考：当leader收到数据，所有的follower都开始同步数据，但是有一个follower，因为某种故障，迟迟不能与。例如我们实现一个分区器实现，发送过来的数据中如果包含kafka，就发往0号分区，不包含kafka，就发往1号分区。
复制链接

扫一扫