Kafka
点滴笔记
点滴笔记、努力生活、加油!
展开
-
Kafka | 模拟生产者写入消息
模拟生产者写入消息到Kafkaimport java.util.Propertiesimport java.util.concurrent.{Executors}import com.sf.gis.commonsimport com.sf.gis.commons.utils.{DateTimeUtil, RandomUtil}import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import o.原创 2020-09-24 17:37:39 · 545 阅读 · 0 评论 -
Kafka | 搭建Kafka
# 将用户目录下的kafka_2.12-0.10.2.2.tgz分发到DN组各个节点目录下ansible dn -m copy -a 'src=/home/hadoop/app/kafka_2.12-0.10.2.2/kafka_2.12-0.10.2.2.tgz dest=/home/hadoop/app owner=hadoop group=hadoop'# 解压kafka_2.12-0.10.2.2.tgz至指定目录/app/gisbdp/目录下ansible dn -m shell ...原创 2020-07-17 16:57:06 · 282 阅读 · 0 评论 -
Kafka | bin/Command
记录下Kafka中bin目录下的基本Command:cd /usr/local/kafka/bin-- 启动Kafka./kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties-- 查看Kafka中所有 Topic./kafka-topics.sh --list --zookeeper x...原创 2020-01-03 15:15:25 · 240 阅读 · 0 评论 -
Kafka | Flume Sink日志到Kafka&HDFS
记录下将服务端AC设备产生的数据采集到Flume中,然后基于Flume Sink 把数据日志同时写入到Kafka与HDFS中,对于Kafka中的数据保存到指定的Topic中,然后后续基于Spark Streaming采用Direct的方式,将数据从消息队列中,取出并做处理。Flume采集日志文件,同时Sink写入到Kafka与HDFS。: agent =ac_online_user,如下:...原创 2020-01-03 15:10:54 · 502 阅读 · 0 评论 -
Kafka | Kafka中如何实现死信队列&重试队列
当一条消息初次消费失败,消息队列 MQ 会自动进行消息重试;达到最大重试次数后,若消费依然失败,则表明消费者在正常情况下无法正确地消费该消息,此时,消息队列 MQ 不会立刻将消息丢弃,而是将其发送到该消费者对应的特殊队列中,这种正常情况下无法被消费的消息称为死信消息(Dead-Letter Message),存储死信消息的特殊队列称为死信队列(Dead-Letter Queue)。与此对...原创 2019-11-29 09:39:09 · 17662 阅读 · 4 评论 -
Kafka | Kafka延迟队列如何实现?
什么是延迟队列?当你在网上购物的时候是否会遇到这样的提示:“三十分钟之内未付款,订单自动取消”?这个是延迟队列的一种典型应用场景。延迟队列存储的是对应的延迟消息,所谓“延迟消息”是指当消息被发送以后,并不想让消费者立刻拿到消息,而是等待特定时间后,消费者才能拿到这个消息进行消费。基于消息的延迟:指为每条消息设置不同的延迟时间,那么每当队列中有新消息进入的时候就会重新根据延迟时间排序,当...原创 2019-11-29 09:36:35 · 25021 阅读 · 2 评论 -
Kafka | Kafka消息审计&消息轨迹
跟着大佬继续学习一波:消息审计:https://blog.csdn.net/u013256816/article/details/71583666消息轨迹:https://help.aliyun.com/document_detail/43357.html?spm=a2c4g.11186623.6.635.7dec5d1fVKzrEi消息轨迹是指一条消息从生产者发送到消息队列 ...原创 2019-11-29 09:34:25 · 1347 阅读 · 0 评论 -
Kafka | Kafka高性能?
跟着大佬学习一波:https://blog.csdn.net/u013256816/article/details/93772377原创 2019-11-29 09:30:38 · 89 阅读 · 0 评论 -
Kafka | Kafka可靠?
跟着大佬学习:https://blog.csdn.net/u013256816/article/details/71091774原创 2019-11-28 15:56:38 · 219 阅读 · 0 评论 -
Kafka | 为什么Kafka不支持读写分离
看看强大的网友怎么说, 哈哈 ,学习一波:https://blog.csdn.net/zl1zl2zl3/article/details/87982038原创 2019-11-28 14:55:45 · 328 阅读 · 0 评论 -
Kafka | Kafka中的失效副本指的是什么?
跟随大佬一起搞学习:https://blog.csdn.net/u013256816/article/details/78851989原创 2019-11-28 14:31:43 · 368 阅读 · 0 评论 -
Kafka | 关于Kafka中的选举
跟着大佬一起搞学习:https://blog.csdn.net/u013256816/article/details/89369160原创 2019-11-28 14:11:15 · 180 阅读 · 0 评论 -
Kafka | Kafka中的Lag如何计算?Lso又是什么?
跟着大佬学习一波:什么是LSO?https://blog.csdn.net/u013256816/article/details/88985769什么是LW和logStartOffset?https://blog.csdn.net/u013256816/article/details/88939070LAG的计算? :https://blog.csdn.net/u013...原创 2019-11-28 13:50:54 · 1596 阅读 · 0 评论 -
Kafka | 解读Kafka中的幂等&事务
记录收藏强大网友的解读:https://blog.csdn.net/u013256816/article/details/89135417太NB了~ 哈哈原创 2019-11-28 10:49:40 · 173 阅读 · 0 评论 -
Kafka | Kafka的消费再均衡是指什么?
记录收藏一波强大网友的解读:https://www.cnblogs.com/luozhiyun/p/11909315.html摘自原文:就目前而言,一共有如下几种情形会触发再均衡的操作:有新的消费者加入消费组。有消费者宕机下线。消费者并不一定需要真正下线,例如遇到长时间的GC、网络延迟导致消费者长时间未向 GroupCoordinator 发送心跳等情况时,GroupCoordi...转载 2019-11-28 10:19:41 · 569 阅读 · 0 评论 -
Kafka | kafka中的控制器是什么
记录收藏一波,网友的强大解读:https://blog.csdn.net/u013256816/article/details/80865540NB~~~~原创 2019-11-28 10:07:12 · 139 阅读 · 0 评论 -
Kafka | kafka中的延时操作是什么?
收藏一波:https://blog.csdn.net/u013256816/article/details/89325701原创 2019-11-28 09:54:50 · 461 阅读 · 0 评论 -
Kafka | Kafka为什么那么快?
收藏强大的网友解读:为什么Kafka那么快?:https://blog.csdn.net/z69183787/article/details/80323581https://www.cnblogs.com/tesla-turing/p/11490263.html原创 2019-11-28 09:50:45 · 162 阅读 · 0 评论