![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 76
陈晨辰呀
这个作者很懒,什么都没留下…
展开
-
Kafka分区与消费者的关系
分区(partion)kafka中的topic可以细分为不同的partion,一个topic可以将消息存放在不同的partion中。leader和follower每个partion可以设置一个leader和多个follower。kafka的消息没有设置读写分离,每个消息发送时,都是发送至对应的partion的leader-paertion,follower-partion主要是为了备份数据而存在,当leader-partion出现故障时,数据已经完全同步的follower-partion也会切换原创 2021-05-02 21:27:58 · 4556 阅读 · 12 评论 -
我用kafka两年踩过的一些非比寻常的坑
前言我的上家公司是做餐饮系统的,每天中午和晚上用餐高峰期,系统的并发量不容小觑。为了保险起见,公司规定各部门都要在吃饭的时间轮流值班,防止出现线上问题时能够及时处理。我当时在后厨显示系统团队,该系统属于订单的下游业务。用户点完菜下单后,订单系统会通过发kafka消息给我们系统,系统读取消息后,做业务逻辑处理,持久化订单和菜品数据,然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜,有些菜做好了,就可以通过该系统出菜。系统自动通知服务员上菜,如果服务员上完菜,修改菜品上菜状态,用户就知道哪些菜已经转载 2021-05-01 15:48:46 · 295 阅读 · 0 评论 -
中华石杉Java面试突击第一季笔记一(消息队列)
视频:https://www.bilibili.com/video/BV1UJ411X7M1?p=5笔记:https://gitee.com/shishan100/Java-Interview-Advanced#%E5%88%86%E5%B8%83%E5%BC%8F%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97互联网大厂面试要求数据结构和算法,软素质,工程素养,履历背景,学历,带团队管理,技术广度、技术深度、项目经验、系统设计分析一下自己所处在的水平:(1.原创 2021-01-20 20:47:24 · 1673 阅读 · 0 评论 -
尚硅谷Kafka框架学习笔记
视频地址:https://www.bilibili.com/video/BV1a4411B7V9笔记资料:链接: https://pan.baidu.com/s/17XOeCBYdyfNqWJPxb_dMsA提取码: 5sp9源码+笔记+资源:https://my.oschina.net/jallenkwong/blog/4449224整理的资料 https://github.com/jast90/awesome-books/issues/1教程资料下载链接:h...原创 2021-02-03 17:26:10 · 925 阅读 · 0 评论 -
Kafka 中的再均衡
我们先回顾下,一个主题可以有多个分区,而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费,可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的,例如消费者会宕机,还有新的消费者会加入,而为了应对这些变化,让分区所属权的分配合理,这都需要对分区所属权进行调整,也就是所谓的 “再均衡”。本文将对再均衡的相关知识进行详细叙述。触发时机首先,我们需要了解什么情况下会触发再均衡,在前文已经提到了消费者数量的变化,是需要再均衡的。在使用 Kafka 时,除了消费者数量转载 2020-10-10 10:46:17 · 1118 阅读 · 0 评论 -
Kafka消费者的使用和原理
消费Hello World先从一个消费者的Hello World学起:publicclassConsumer{publicstaticvoidmain(String[]args){//1.配置参数Propertiesproperties=newProperties();properties.put("key.deserializer","org.apache.kafka....转载 2020-09-24 15:07:07 · 587 阅读 · 0 评论 -
Kafka消费者接收数据异常,contentType标头始终附加到消息正文
场景使用Spring Cloud Stream 1.3.2.RELEASE向Kafka发布String消息。 当使用命令行Kafka使用者或Spring Kafka @KafkaListener使用消息时,contentType标头始终附加到消息正文kafka生产者,Spring Cloud Stream as producerprivate void send() { channel.test().send(MessageBuilder.withPayload("{\"foo\":.原创 2020-09-21 20:33:08 · 1298 阅读 · 0 评论 -
Kafka的生成者、消费者、broker的基本概念
kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录,通过重建这些日志可以重建系统的状态。同样地,kafka的数据是按照一定顺序持久化保存的,可以按需读取。 1、kafka拓扑结构 2、Kafka的特点 同时为分布和订阅提供高吞吐量。据了解,Kafka每秒可以...原创 2019-05-15 11:09:26 · 35132 阅读 · 8 评论 -
在Windows安装运行Kafka
一、安装JAVA JDK1、下载安装包http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意:根据32/64位操作系统下载对应的安装包2、添加系统变量:JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144二、安装Zo...原创 2019-06-13 20:46:52 · 46307 阅读 · 21 评论 -
Kafka的安装与使用
广告系统设计与实现(九)9.1 Kafka 基础知识9.1.1 消息系统点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接受,当没有消费者可用时,这个消息会被保存直到有 一个可用的消费者,所以Queue实现了一个可靠的负载均衡。发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会...原创 2019-06-14 14:57:53 · 36604 阅读 · 2 评论 -
RabbitMQ和Kafka对比
前言开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?RabbitMQ架构概念RabbitMQ是一个分布式系统broker:每个节点运行的服务程序,功能为维护该节点的队列的增删以及转发队列操作请求。master queue:每个队列都分为一个主队列和若干个镜...转载 2019-10-03 14:24:56 · 907 阅读 · 0 评论 -
综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列
来源:http://t.cn/RVDWcfe一、资料文档Kafka:中。有kafka作者自己写的书,网上资料也有一些。rabbitmq:多。有一些不错的书,网上资料多。zeromq:少。没有专门写zeromq的书,网上的资料多是一些代码的实现和简单介绍。rocketmq:少。没有专门写rocketmq的书,网上的资料良莠不齐,官方文档很简洁,但是对技术细节没有过多的描述。activemq:多...原创 2019-11-07 21:34:06 · 1119 阅读 · 0 评论 -
查看kafka消息消费情况
查看主题命令展示topic列表./kafka-topics.sh --list --zookeeper 172.18.153.12:2188描述topic./kafka-topics.sh --describe --zookeeper 172.18.153.12:2188 --topic test查看topic某分区偏移量最大(小)值./kafka-run-class.sh kafk...原创 2020-01-10 16:51:05 · 8589 阅读 · 0 评论 -
Kafka 基本原理
目录简介Kafka架构Kafka存储策略Kafka删除策略Kafka brokerKafka DesignThe ProducerThe Consumer复制(Replication)日志压缩(Log Compaction)DistributionZookeeper协调控制开发环境搭建一些example参考简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司...原创 2020-01-26 17:55:13 · 1157 阅读 · 0 评论 -
kafka概念扫盲
一、kafka概述1.1、定义Kakfa是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域1.2、消息队列1.2.1、传统的消息队列&新式的消息队列的模式上面是传统的消息队列,比如一个用户要注册信息,当用户信息写入数据库后,后面还有一些其他流程,比如发送短信,则需要等这些流程处理完成后,在返回给用户而新式的队列是,比如一个用户注册...原创 2020-02-07 10:59:58 · 1054 阅读 · 1 评论 -
从源码分析如何优雅的使用 Kafka 生产者
前言在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢?正好以这个问题结合 Kakfa 的源码讨论下如何正确、高效的发送消息。内容较多,对源码感兴趣的朋友请系好安全带????(源码基于 v0.10.0.0 版本分析)。同时最好是有一定的 Kafka 使用经验,知晓基本的用法。简单的消息发送在分析之前先看一个简单的消息发送是怎么样的。(以下代码基于 SpringBoot 构建。)...转载 2020-02-07 11:33:04 · 820 阅读 · 0 评论 -
kafka可视化客户端工具(Kafka Tool)
1、下载下载地址:http://www.kafkatool.com/download.html2、安装根据不同的系统下载对应的版本,我这里kafka版本是1.1.0,下载kafka tool 2.0.1。双击下载完成的exe图标,傻瓜式完成安装。3、简单使用kafka环境搭建请参考:CentOS7.5搭建Kafka2.11-1.1.0集群1)连接kafka打开kafka tool安装目录,点击exe文件提示设置kafka集群连接点击确定,设置.转载 2020-08-18 14:20:16 · 1993 阅读 · 0 评论 -
KafkaTemplate和SpringCloudStream混用导致stream发送消息出现序列化失败问题
背景1、具体报错org.springframework.messaging.MessageHandlingException: error occurred in message handler [org.springframework.cloud.stream.binder.kafka.KafkaMessageChannelBinder$ProducerConfigurationMessageHandler@673f700a]; nested exception is org.apache原创 2020-09-01 21:30:21 · 3898 阅读 · 5 评论 -
Kafka生产者的使用和原理
本文将学习Kafka生产者的使用和原理,文中使用的kafka-clients版本号为2.6.0。下面进入正文,先通过一个示例看下如何使用生产者API发送消息。publicclassProducer{publicstaticvoidmain(String[]args){//1.配置参数Propertiesproperties=newProperties();properties.put("bootstr...转载 2020-09-17 20:13:07 · 387 阅读 · 0 评论