kafka
笔尖的痕
spark、hadoop,数据仓库,实时计算
展开
-
Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合
# 学习前言 本博文整合Flume+Kafka+Storm中的Eclipse工程代码下载地址http://download.csdn.net/detail/u012185296/7633405# Flume的学习请参考_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)这篇博文# Kafka的学习请参考_00017转载 2014-09-23 23:28:19 · 1878 阅读 · 0 评论 -
分布式发布订阅消息系统 Kafka 架构设计
http://www.oschina.net/translate/kafka-design转载 2014-09-16 01:50:35 · 1096 阅读 · 0 评论 -
Kafka设计解析:Replication工具
Topic Tool $KAFKA_HOME/bin/kafka-topics.sh,该工具可用于创建、删除、修改、查看某个Topic,也可用于列出所有Topic。另外,该工具还可修改某个Topic的以下配置。unclean.leader.election.enabledelete.retention.mssegment.jitter.msretention.msflush.转载 2015-11-02 16:07:29 · 853 阅读 · 0 评论 -
Kafka设计解析:Kafka Consumer解析
High Level Consumer 很多时候,客户程序只是希望从Kafka读取数据,不太关心消息offset的处理。同时也希望提供一些语义,例如同一条消息只被某一个Consumer消费(单播)或被所有Consumer消费(广播)。因此,Kafka High Level Consumer提供了一个从Kafka消费数据的高层抽象,从而屏蔽掉其中的细节并提供丰富的语义。Cons转载 2015-11-02 16:11:08 · 790 阅读 · 0 评论 -
Kafka设计解析:Kafka High Availability(上)
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对Failover要求非常高。转载 2015-11-02 16:05:19 · 657 阅读 · 0 评论 -
Kafka设计解析:Kafka High Availability (下)
本文在上篇文章(《Kafka设计解析:Kafka High Availability(上)》)基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover、Controller failover、Topic创建/删除、Broker启动、Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关转载 2015-11-02 16:06:31 · 610 阅读 · 0 评论 -
分布式消息中间件应用实践
背景概述搜狗商业平台负责搜狗商业广告平台的研发,其广告平台中存在大量的数据,包括广告物料、操作日志、PV 点击、上下线报文等。整个广告平台涉及实时 PV/UV 统计分析、实时安全分析、广告审核、日志汇总等通用功能和操作日志、上下线报文、账户优化等与业务线相关的功能,系统繁多,依赖关系复杂。早期,我们主要通过 rsync、ActiveMQ 等方式在不同系统间进行日志和数据的同步,然而,这些方转载 2015-11-20 12:01:07 · 3339 阅读 · 0 评论