Kafka
xiaolege_
目前重点研究Spring、Spring boot、Spring cloud、Kafka、Flink、Xxl-job、MySQL、Elastic search、Redis、Docker等,欢迎大家关注交流。
展开
-
Kafka如果丢了消息,怎么处理的?
Kafka存在丢消息的问题,消息丢失会发生在Broker,Producer和Consumer三种。BrokerBroker丢失消息是由于Kafka本身的原因造成的,kafka为了得到更高的性能和吞吐量,将数据异步批量的存储在磁盘中。消息的刷盘过程,为了提高性能,减少刷盘次数,kafka采用了批量刷盘的做法。即,按照一定的消息量,和时间间隔进行刷盘。这种机制也是由于linux操作系统决定的。将数据存储到linux操作系统种,会先存储到页缓存(Page cache)中,按照时间或者其他条件进行刷盘(..转载 2020-12-30 10:36:26 · 175 阅读 · 0 评论 -
从面试角度一文学完 Kafka
Kafka 是一个优秀的分布式消息中间件,许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的 Kafka 面试题入手,和大家聊聊 Kafka 的那些事儿。思维导图讲一讲分布式消息中间件问题 什么是分布式消息中间件? 消息中间件的作用是什么? 消息中间件的使用场景是什么? 消息中间件选型? 消息队列分布式消息是一种通信机制,和 RPC、HTTP、RMI 等不一样,转载 2020-11-09 17:07:56 · 112 阅读 · 1 评论 -
flume+Kafka+flink实时统计实战(单机版)
# Kafka启动服务安装配置好zookeeper,添加好环境变量,打开cmd,输入命令启动服务。zkServer在%KAFKA_HOME%目录,按shift+鼠标右键,选择“在此处打开命令窗口”,在控制台输入命令启动服务。.\bin\windows\kafka-server-start.bat .\config\server.propertieskafka命令创建主题.\bin\windows\kafka-topics.bat --create --zookeeper lo原创 2020-10-15 14:13:02 · 2423 阅读 · 3 评论 -
spring boot+Kafka简单集成demo
最近不忙自己看了下Kafka相关的东西,这里简单介绍下spring boot集成Kafka一些注意点。我也是在学习过程中,有什么理解不到位的地方还望不吝赐教互相学习。Kafka:Kafka相关知识介绍及安装可参见下面这篇博文,https://blog.csdn.net/xiaolegeaizy/article/details/100736637介绍的很详细了,不再赘述,这里强调一下容易...原创 2019-10-16 10:23:51 · 442 阅读 · 0 评论 -
Kafka安装使用-超详细
一:介绍1.官网 kafka.apache.org2.产生 Kafka由linked-in开源 kafka-即是解决上述这类问题的一个框架,它实现了生产者和消费者之间的无缝连接。 kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)3.状况 Apache kafk...转载 2019-09-11 15:01:21 · 272 阅读 · 4 评论 -
Kafka主题(topic)的删除
step1:如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止。因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新。调用kafka delete命令则无法删除该topic。同时,需要设置 auto.create.topics.enable = false,默认设置为true。如果设置为...原创 2019-09-12 15:10:03 · 834 阅读 · 2 评论