李志涛的专栏

自由,悠闲,交流 QQ:309921583

Apache Kafka-0.9 feature

一、安全特性在0.9之前,Kafka安全方面的考虑几乎为0,在进行外网传输时,只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点,让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面,主要有以下方面设计: 客户端连接borker使用SSL或SASL进行验证 bo...

2016-08-27 06:03:23

阅读数 1300

评论数 2

Kafka延时分析

1、背景针对Mafka SLA性能测试(历史版)结果中出现的ack为0消费时延比ack为1、-1情况下反而要长,异步生产消费时延较大等疑点,都非常有必要一番配置和代码的梳理。 2、核心配置以下所有默认参数是针对kafka 0.9,且主要针对时延这块涉及的核心参数做分析:producer端:buff...

2016-08-27 01:05:03

阅读数 9874

评论数 0

Kafka Producer机制优化-提高发送消息可靠性

名称解释:Broker:负责消息的存储和转发,也可以叫消息中介节点 Topic:每种消息的分类叫做主题(Topic)。 Partition:每一个Topic被切分为多个Partitions。背景Producer构造Message对象时,传入key参数,当Producer发送Message,会根...

2016-08-27 00:45:20

阅读数 7569

评论数 0

Kafka内部网络框架模型分析

Kafka基于高吞吐率和效率考虑,并没有使用第三方网络框架,而且自己基于java nio封装的,总体网络模型如下: Broker的内部处理流水线化,分为多个阶段来进行(SEDA),以提高吞吐量和性能,尽量避免Thead盲等待,以下为过程说明。 * Accept Thread负责与客户端建立...

2016-08-27 00:15:26

阅读数 4729

评论数 1

Kafka Broker HA机制

从图中我们可以看出HA的缓存分为生产缓存事件池和拉取缓存事件池两块结构相同的缓存区,分别缓存生产和拉取请求 2个缓存事件池的作用: 生产缓存事件池:当生产者设置了等待从partition的同步选项(requiredAcks为-1)时才会启动生产缓存。因为每一批生产的消息,需要等待所有的处于同步状...

2016-08-25 07:03:50

阅读数 5465

评论数 1

Kafka数据可靠性与一致性解析

在看本篇博客前,请先看下“ Kafka文件存储机制那些事”:http://tech.meituan.com/kafka-fs-design-theory.html 便于理解如下内容:1.Partition Recovery机制每个Partition会在磁盘记录一个RecoveryPoint, ...

2016-08-24 01:21:27

阅读数 12795

评论数 0

工程师的六大意识

六大意识是百度在数年前每个入职的工程师必被灌输的职场意识,若干年后更深以为然。 质量意识 流程意识 world class procedure:用流程解决具有共性的、重复性问题,提高效率既有的流程应严格遵守;没有流程的应创建流程 要对自己的工作质量负责,不要期待别人来发现自己的问题 “稳...

2016-08-15 11:02:27

阅读数 3646

评论数 0

Mafka RoadMap和实现

Mafka SLA:Mafka消息中间件系统SLA

2016-08-05 01:28:31

阅读数 1672

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭