kafka
iblks
积跬步至千里、积小流成江海
展开
-
Kafka设计解析(一)- Kafka背景及架构介绍
在阅读《learning apache kafka second editon 》的过程在网上发现了几篇好的文章,不由感叹文章作者真是太NB了,现原文转发。 本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/03/10/KafkaColumn1 摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,转载 2016-11-11 12:03:05 · 842 阅读 · 0 评论 -
Kafka设计解析(二)- Kafka High Availability (上)
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢转载 2016-11-11 12:08:21 · 330 阅读 · 0 评论 -
Kafka设计解析(三)- Kafka High Availability (下)
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从转载 2016-11-11 12:10:00 · 427 阅读 · 0 评论 -
Kafka设计解析(四)- Kafka Consumer设计解析
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/08/09/KafkaColumn4 摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Le转载 2016-11-11 12:11:15 · 350 阅读 · 0 评论 -
Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的转载 2016-11-11 12:12:40 · 888 阅读 · 0 评论 -
kafka系列(七)使用Kafka-Connect导入导出数据
摘要本文主要内容是介绍如何使用kafka-connect进行导入导出数据,文章内容来自于kafka官方文档,对官方文档中一些内容作了简要补充。简介向console中写入数据然后再写回到console是非常方便的,但是你可能想从其他的数据源写入数据,然后将数据导出到kafka以外的其他系统,kafka connect 为很多系统提供导入导出数据功能,而不用写任何代码1、准备数据源>mkdir /dat原创 2016-11-14 11:41:57 · 8618 阅读 · 3 评论 -
kafka系列(六)---kafka安装配置与简单测试
摘要 前边转发的五篇文章,作者对kafka的设计作了很多介绍,文章写的时间也比较早,现在kafka最新稳定版本已经是0.10.1.0。设计思路没有改变,只是对前文中提到的改进的方面已做了改进。 本文主要内容是kafka启动配置,以及一些简单的测试。 大部分内容来自kafka 0.10.1.0的官方文档 快速启动 下载解压 大家可点击下边链接下载最新稳定版0.10.1.0 h...原创 2016-11-13 15:20:32 · 741 阅读 · 0 评论