kafka学习
文章平均质量分 85
大大大大肉包
一个喜欢计算机的帅小伙
展开
-
Kafka配置类参数设置
Kafka的客户端发送数据到服务器,不是来一条就发一条,而是经过缓冲的,也就是说,通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里,然后把很多消息收集成一个一个的Batch,再发送到Broker上去的,这样性能才可能高。理论上来说,提升batch.size的大小,可以允许更多的数据缓冲在里面,那么一次Request发送出去的数据量就更多了,这样吞吐量可能会有所提升。但是batch.size也不能过大,要是数据老是缓冲在Batch里迟迟不发送出去,那么发送消息的延迟就会很高。原创 2023-05-11 15:27:34 · 811 阅读 · 1 评论 -
Kafka 消费者相关总结
1、消费者组1.1、消费者组的原理Consumer Group(CG):消费者组,由多个消费者组成。形成一个消费者组的条件,是所有消费者的groupid相同。• 消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。• 消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。• 消费者组中的消费者数量要合理设置,如果消费者的数量大于主题分区数就会造成一部分消费者就会被闲置,如果消费者的数量过小,会出现一个负载均衡的问题。1.2、消原创 2022-05-28 19:55:17 · 560 阅读 · 0 评论 -
Kafka Broker相关总结
1、Zookeeper存储的Kafka信息2、kafka的副本2.1、副本的基本信息(1)Kafka 副本作用:提高数据可靠性。(2)Kafka 默认副本 1 个,生产环境一般配置为 2 个,保证数据可靠性;太多副本会 增加磁盘存储空间,增加网络上数据传输,降低效率。(3)Kafka 中副本分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader, 然后Follower 找 Leader 进行同步数据。(4)Kafka 分区中的所有副本统称原创 2022-05-27 15:53:38 · 125 阅读 · 0 评论 -
kafka生产过程相关总结
1、生产者消息发送流程Kafka的producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断地从RecordAccumulator中拉取消息发送到Kafka broker。2、生产者的分区2.1、分区的原因 (1)便于合理使用资源,Kafka中将一个主题分成多个分区,分别放在多台机器上原创 2022-05-26 19:58:33 · 553 阅读 · 0 评论 -
Kafka命令使用
kafka启动命令:kafka-server-start.shkafka关闭命令:kafka-server-stop.sh创建topic命令:kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --topic test1 --partitions 3 --replication-factor 3查看所有的topic命令:kafka-topics.sh --list --zookeeper原创 2022-05-25 16:31:17 · 609 阅读 · 0 评论 -
Kafka的基本概念
kafka的介绍Kafka就是一个分布式的用于消息存储的消息队列。一般用于大数据的流式处理中。具有高水平扩展性、高容错性、访问速度快、分布式等特性,主要应用场景是日志收集系统和消息系统。但是随着kafka的快速发展,也被应用于高性能数据管道、数据集成、流分析等。Kafka的应用场景缓冲/消峰用于控制和优化数据流经过系统的速度,解决生产数据和消费数据不速度不一致的情况(秒杀活动)解耦允许你独立的扩展俩边的处理流程,只要确保遵循同样的接口约束。简单的说就是多个数据源对应多个数据处理..原创 2022-05-25 15:58:33 · 280 阅读 · 0 评论