KAFKA相关问题
吃了点饭
浪客剑心。
展开
-
Kafka总结
原文链接:http://dataguild.org/?p=7290参考链接:http://www.cnblogs.com/cyfonly/p/5954614.htmlKafka提供的Pub/Sub就是典型的异步消息交换,用户可以为服务器日志或者物联网设备创建不同主题(Topic),之后数据可以源源不断地发送到各个主题,后端数据仓库、流式分析或者全文检索等对接特定主题,服务器转载 2017-08-25 16:43:34 · 308 阅读 · 0 评论 -
Kafka的定时消息/任务服务
基于kafka的定时消息/任务服务 前言定时任务,在很多业务场景中都会存在.一般,我们简单解决的话,就是使用数据库来存储数据供服务端周期获取执行.显然,对于数据库处理,如果多线程或者多机器处理,就会存在扩展的问题.比如:现在一个任务记录到时间了需要执行,同时被多个executor抓取来执行,就会浪费不必要的资源;并且,这种场景还非常常见. 因此, 需要额外状态处理,或者其他分库分原创 2017-09-04 14:04:46 · 21710 阅读 · 0 评论 -
kafka清理过期数据
Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指定时间清理: log.retention.hours=16超过指定大小后,删除旧的消息:log.retention.转载 2017-09-04 14:10:35 · 1394 阅读 · 0 评论 -
Kafka 高性能吞吐揭秘
Kafka 高性能吞吐揭秘A high-throughput distributed messaging system.--Apache KafkaKafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。本文将针对Kafka性能方面...转载 2019-06-10 09:51:34 · 260 阅读 · 0 评论