kafka
小顽童王
阳光内敛...
展开
-
Kafka基本概念
是一个分布式、可分区、可复制的消息系统,主要用于处理活跃的流式数据。工作原理Kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力Kafka中的zookeeper的用途正如zookeeper用于分布式系统的协调和促进,Kafka使用也是基于这一原因,zookeeper用户管理、协调Kafka代理原创 2016-04-13 15:39:29 · 1454 阅读 · 0 评论 -
Kafka整合Flume
Kafka与flume1)准备jar包1、将Kafka主目录lib下的如下jar拷贝至Flume的lib目录下kafka_2.10-0.8.2.1.jar、kafka-clients-0.8.2.1.jar、jopt-simple-3.2.jar、metrics-core-2.2.0.jar、scala-library-2.10.4.jar、zkclient-0.3.jar等原创 2016-04-13 15:43:33 · 1903 阅读 · 0 评论 -
Kafka设计解析(一)- Kafka背景及架构介绍
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/03/10/KafkaColumn1摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标转载 2017-02-13 11:08:52 · 280 阅读 · 0 评论 -
Kafka设计解析(二)- Kafka High Availability (上)
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2摘要 Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢转载 2017-02-13 11:15:44 · 342 阅读 · 0 评论 -
Kafka设计解析(三)- Kafka High Availability (下)
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3摘要 本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Lead转载 2017-02-13 11:51:34 · 348 阅读 · 0 评论 -
Kafka设计解析(四)- Kafka Consumer设计解析
本文转发自技术世界,原文链接 http://www.jasongj.com/2015/08/09/KafkaColumn4摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consum转载 2017-09-14 16:04:58 · 316 阅读 · 0 评论