IT-MQ-Kafka
LarryHai6
一直致力于开源技术和软件架构实践,追求业务和技术的最佳实践
| 个人的专业领域包括 大型分布式系统/应用架构设计 云原生架构设计 微服务架构设计 Agile和DevOps最佳实践 DDD设计方法论 数据建模与分析 | 联系方式: 邮件: liuhaidl9@163.com
展开
-
Kafka 安装和测试
1. 简介 kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。 i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。ii. 多个broker协同合作,producer、consumer和broker转载 2016-01-29 19:35:03 · 353 阅读 · 0 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建-
http://www.cnblogs.com/likehua/p/3999538.html问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?转载 2016-01-29 21:51:34 · 480 阅读 · 0 评论 -
Flume Kafka收集Docker容器内分布式日志应用实践
1 背景和问题随着云计算、PaaS平台的普及,虚拟化、容器化等技术的应用,例如Docker等技术,越来越多的服务会部署在云端。通常,我们需要需要获取日志,来进行监控、分析、预测、统计等工作,但是云端的服务不是物理的固定资源,日志获取的难度增加了,以往可以SSH登陆的或者FTP获取的,现在可不那么容易获得,但这又是工程师迫切需要的,最典型的场景便是:上线过程中,一切都在GUI化的PaaS平台点点转载 2017-04-21 21:11:59 · 2517 阅读 · 0 评论 -
在Docker环境下部署Kafka
1、下载镜像这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像[html] view plain copy print?docker pull wurstmeister/zookeeper [html] view plain copy print?dock转载 2017-04-25 20:41:39 · 10332 阅读 · 2 评论 -
Kafka消费组(consumer group)
一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念,希望能把consumer这点事说清楚,从而对广大使用者有所帮助。在开始之前,我想花一点时间先来明确一些概念和术语,转载 2017-11-03 11:09:06 · 4814 阅读 · 0 评论 -
Kafka设计解析(四)- Kafka Consumer设计解析
摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。High Level Co转载 2017-11-03 11:20:35 · 273 阅读 · 0 评论 -
Kafka深度解析
背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输同时支持离线数据转载 2017-11-03 11:58:47 · 387 阅读 · 0 评论