kafka
wjacketcn
这个作者很懒,什么都没留下…
展开
-
Kafka 架构原理、应用场景
转自:http://www.cnblogs.com/smartloli/p/4530117.html1.概述 经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容:K转载 2016-03-17 13:15:55 · 5308 阅读 · 0 评论 -
Kafka 开发简单示例
转载:http://www.cnblogs.com/smartloli/p/4543211.html1.概述 上一篇博客《Kafka实战-Kafka Cluster》中,为大家介绍了Kafka集群的安装部署,以及对Kafka集群Producer/Consumer、HA等做了相关测试,今天我们来开发一个Kafka示例,练习如何在Kafka中进行编程,下面是今天的分享转载 2016-03-17 14:00:23 · 835 阅读 · 0 评论 -
Flume到Kafka
转自:http://www.cnblogs.com/smartloli/p/4615908.html1.概述前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录:数据来源Flume到Kafka数据源加载预览下面开始今天的分享内容。2.数据来源Kafka生产的转载 2016-03-17 14:10:29 · 764 阅读 · 0 评论 -
Kafka到Storm
转自:http://www.cnblogs.com/smartloli/p/4632644.html1.概述 在《Kafka实战-Flume到Kafka》一文中给大家分享了Kafka的数据源生产,今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容,如下所示:数据消费Storm计算预览截图转载 2016-03-17 14:55:03 · 833 阅读 · 0 评论 -
KAFKA分布式消息系统
Kafka的架构如下图所示:Kafka存储策略1. kafka以topic来进行消息管理,每个topic包含多个part(ition),每个part对应一个逻辑log,有多个segment组成。2. 每个segment中存储多条消息(见下图),消息id由其逻辑位置决定,即从消息id可直接定位到消息的存储位置,避免id到位置的额外映射。3. 每个part在内存中对应一个in转载 2016-03-30 11:21:58 · 263 阅读 · 0 评论 -
Kafka Cluster 安装
转自:http://www.cnblogs.com/smartloli/p/4538173.html1.概述 在《Kafka实战-入门》一篇中,为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点,本篇博客为大家来赘述一下Kafka Cluster的相关内容,下面是今天为大家分享的目录:基础软件的准备Kafka Cluster的部署Send Messa转载 2016-03-17 13:26:26 · 764 阅读 · 0 评论 -
分布式消息系统:Kafka
转自:http://www.biaodianfu.com/kafka.html Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统转载 2016-03-18 17:38:37 · 530 阅读 · 0 评论 -
SparkStreaming+Zookeeper+Kafka入门程序
原文链接:http://www.jianshu.com/p/5606253f4495准备工作:安装 spark安装 zookeeper安装 kafka开始工作1. 启动zookeeper打开终端,切换到 zookeeper HOME 目录, 进入conf文件夹,拷贝一份 zoo_sample.cfg 副本并重命名为zoo.cfg切换到上级的bin目录中,执行转载 2016-03-21 10:47:38 · 528 阅读 · 0 评论