kafka
文章平均质量分 88
风轻扬777
继续不为什么的坚持,终得自由选择的时空
展开
-
kafka消费者之seek方法
继续kafka学习之旅。今天学习的还是<深入理解kafka-核心设计与实践原理>一书。上一篇博客,学习了消费者,今天继续学习消费者。auto.offset.reset。这个参数的意思是:当kafka消费者在_consumer_offset主题中找不到所属分区的offset时,该参数就派上用场了,改参数有三个可选值,latest、earilst、none。第一个取值是说,当消费者找不到...原创 2020-04-14 23:49:13 · 11781 阅读 · 3 评论 -
kafka位移提交
位移,反应到kakfa的源码中,就是offset。offset,有人叫偏移量,有人叫位移。<深入理解kafka>的作者做了一下区分,如果讲的是消息在分区中的位置,就用偏移量,如果讲的是消费者端,那就用位移表示。kafka消费完消息,需要提交位移。kafka默认是自动提交位移的,定时提交,中间的时间间隔为:5秒。这个值是由auto.commit.interval.ms配置。自动提交位移...原创 2020-04-12 21:12:05 · 1000 阅读 · 0 评论 -
kafka消费者知识整理
说到kafka的消费者,我们要先提到一个概念。消费者组消费者组的意思是:多个消费者可以属于同一个消费者组。投递到主题中的消息只能被消费者组中的一个消费者消费。如果我们要做消息点对点发布,就可以将多个消费者放到一个消费者组中。这样,一条消息只会被一个消费者消费。如果要做消息的发布订阅,就可以将多个消费者分到不同的消费者组中,不同消费者组的消费者都可以消费这条消息。通过消费者组,kafka可以实...原创 2020-04-12 19:26:22 · 475 阅读 · 0 评论 -
kafka生产者知识整理
kafka的生产用来生产消息,发送到kafka。接下来,我们介绍一下kafka的生产者。生产者kafka的生产者有3个必须的参数bootstrap.servers:该参数填写kafka服务端的地址,可以填写多个格式为:host1:port,host2:port,host3:port。填写1个就够了,kafka服务端可以根据你填写的这一个节点信息找到其他节点的信息。但是,一般配置2个,防止你填...原创 2020-04-12 17:03:22 · 447 阅读 · 0 评论 -
kafka架构梳理
公司一直在用kafka,但是只用到了kafka的部分功能。kafka号称单机可以支持百万的吞吐量。所以想系统学习kafka是如何支持百万吞吐量的。网上的资料嘛,鱼龙混杂,还是要买本书,系统的看一下。我正在看的书是朱忠华所著<深入理解Kafka-核心设计与实践原理>。写的挺好的,确如书名所说,有原理有实践。大家可以买来看一下为了便于记忆。参考书里的内容,梳理一下kafka的机构。ka...原创 2020-04-11 18:27:25 · 199 阅读 · 0 评论 -
kafka的安装部署(kafka_2.10.0.1.1版本)
kafka是一种高吞吐量的分布式消息系统。支持高水平扩展。安装环境:kafka:2.10.0.1.1zookeeper:3.4.11资源下载kafka:http://kafka.apache.org/downloadszookeeper:http://archive.apache.org/dist/zookeeper/先来安装kafka:1 .在kafka解压目录外创建kafka数...原创 2018-12-17 13:06:20 · 1631 阅读 · 0 评论