Kafka设计解析(七)- Kafka Stream

http://www.jasongj.com/kafka/kafka_stream/本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以及主要的两种数...

2018-05-16 19:15:33

阅读数:180

评论数:0

Kafka设计解析(八)- Exactly Once语义与事务机制原理

http://www.jasongj.com/kafka/transaction/本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理,并介绍了Kafka如何处理事务相关的异常情况,如Transaction Coordinator宕机。最后...

2018-05-16 19:15:28

阅读数:88

评论数:0

Kafka设计解析(六)- Kafka高性能架构之道

http://www.jasongj.com/kafka/high_throughput/本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力,如何通过ISR实现可用性和数据一致性的动态平衡,如何使用NIO和Linu...

2018-05-15 17:44:26

阅读数:63

评论数:0

kafka使用high api如何确保不丢失消息,不重复发送,消息只读取一次?

https://www.zhihu.com/question/34842764/answer/138125661kafka使用high api如何确保不丢失消息,不重复发送,消息只读取一次?虽然low api可以通过offset来实现,但是感觉好麻烦作者:雨夜偷牛的人链接:https://www....

2018-05-15 17:22:58

阅读数:160

评论数:0

kafka原理和实践(一)原理:10分钟入门

http://www.cnblogs.com/dennyzhangdd/p/7759869.html目录一、kafka拓扑图二、名词解释三、生产模型四、消费模型 正文系列目录kafka原理和实践(一)原理:10分钟入门kafka原理和实践(二)spring-kafka简单实践kafka原理和实践(...

2018-05-15 17:16:38

阅读数:148

评论数:0

kafka学习笔记:知识点整理

https://blog.csdn.net/qq_24084925/article/details/78842844一、为什么需要消息系统kafka学习网址:http://orchome.com/kafka/index1.解耦:   允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口...

2018-05-15 16:46:53

阅读数:78

评论数:0

Zero Copy

原文出处: http://www.ibm.com/developerworks/library/j-zerocopy/ 传统的I/O使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:File.read(fileDesc, buf, len); Socket.se...

2018-05-15 16:12:44

阅读数:62

评论数:0

为什么Kafka那么快

网上有很多Kafka的测试文章,测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章,我会重点解释——为什么真快。(当然不是因为它用了Scala!!!!)生产者(写入数据)生产者(producer)是负责向...

2018-05-15 15:30:49

阅读数:2479

评论数:0

Kafka配置说明

https://www.cnblogs.com/rilley/p/5391268.htmlBroker  ConfigsPropertyDefaultDescriptionbroker.id 每个broker都可以用一个唯一的非负整数id进行标识;这个id可以作为broker的“名字”,并且它的存...

2018-05-15 15:23:48

阅读数:49

评论数:0

Kafka全解析

https://blog.csdn.net/vinfly_li/article/details/79397201一. ConceptsKafka is used for building real-time data pipelines and streaming apps分布式消息传递网站活跃数...

2018-05-15 15:10:52

阅读数:51

评论数:0

Kafka副本同步机制理解

https://blog.csdn.net/qq_36142114/article/details/80314947Apache Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。Apache Kafka特性之一是它的复制协议。对于...

2018-05-15 15:06:29

阅读数:45

评论数:0

Kafka设计解析(一)- Kafka背景及架构介绍

http://www.jasongj.com/2015/03/10/KafkaColumn1/摘要  Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了...

2018-05-15 11:25:21

阅读数:52

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭