Kafka
技术蚂蚁
这个作者很懒,什么都没留下…
展开
-
Kafka+Spark Streaming+Redis实时系统实践
http://www.iteblog.com/archives/1378 基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于转载 2016-07-17 16:41:34 · 1549 阅读 · 0 评论 -
Kafka Producer是如何动态感知Topic分区数变化
http://www.iteblog.com/archives/1618转载 2016-07-17 17:01:46 · 2444 阅读 · 0 评论 -
Key为nulll时Kafka如何选择分区(Partition)
http://www.iteblog.com/archives/1619转载 2016-07-17 17:02:21 · 1969 阅读 · 0 评论 -
通过编程方式获取Kafka中Topic的Metadata信息
http://www.iteblog.com/archives/1604转载 2016-07-17 17:03:15 · 2502 阅读 · 1 评论 -
如何手动更新Kafka中某个Topic的偏移量
http://www.iteblog.com/archives/1642转载 2016-07-17 17:03:49 · 2498 阅读 · 0 评论 -
如何移动Kafka部分分区的数据
http://www.iteblog.com/archives/1613转载 2016-07-17 17:04:44 · 624 阅读 · 0 评论 -
Kafka如何动态增加Topic的副本(Replication)
http://www.iteblog.com/archives/1614转载 2016-07-17 17:05:38 · 3108 阅读 · 0 评论 -
Spark Streaming结合 Kafka 两种不同的数据接收方式比较
揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较字数956 阅读353 评论0 喜欢2DirectKafkaInputDStream 只在 driver 端接收数据,所以继承了 InputDStream,是没有 receivers 的在结合 Spark Streaming 及 Kafka 的实时转载 2016-09-03 07:33:48 · 6952 阅读 · 0 评论 -
Kafka+Spark Streaming+Redis实时计算整合实践
转自:http://shiyanjun.cn/archives/1097.html基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.转载 2016-11-30 19:13:43 · 502 阅读 · 0 评论 -
Flume+Kafka+Spark-Streaming的实时流式处理完整流程
基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程1、环境准备,四台测试服务器spark集群三台,spark1,spark2,spark3kafka集群三台,spark1,spark2,spark3zookeeper集群三台,spark1,spark2,spark3日志接收服务器, spark1日志收集服务器,Redis转载 2016-11-30 19:24:50 · 632 阅读 · 0 评论 -
Spark Streaming 自适应上游 kafka topic partition 数目变化
背景Spark Streaming 作业在运行过程中,上游 topic 增加 partition 数目从 A 增加到 B,会造成作业丢失数据,因为该作业只从 topic 中读取了原来的 A 个 partition 的数据,新增的 B-A 个 partition 的数据会被忽略掉。思考过程为了作业能够长时间的运行,一开始遇到这种情况的时候,想到两种方案:感知上游 to转载 2016-11-24 22:45:57 · 3606 阅读 · 1 评论 -
spark+kafka+Elasticsearch单机环境的部署和性能测试
spark+kafka+Elasticsearch单机环境的部署和性能测试字数306 阅读148 评论0 喜欢4版本选型spark 1.5.2 + kafka 0.9.0.1 + Elasticsearch 2.2.1安装部署1. 安装脚本及文件 密码 4m7l安装脚本和服务都是单机简化版,没有保护机制。有兴趣的朋友可以一起写一个集群转载 2016-11-24 22:54:23 · 2449 阅读 · 0 评论 -
Kafka日志删除源码分析
http://www.iteblog.com/archives/1616转载 2016-07-17 17:01:08 · 404 阅读 · 0 评论 -
Kafka集群Leader均衡(Balancing leadership)
http://www.iteblog.com/archives/1612转载 2016-07-17 17:00:26 · 419 阅读 · 0 评论 -
Kafka集群扩展以及重新分布分区
http://www.iteblog.com/archives/1611转载 2016-07-17 16:59:25 · 2382 阅读 · 0 评论 -
Kafka分布式集群部署手册
http://www.iteblog.com/archives/1045http://www.iteblog.com/archives/1049转载 2016-07-17 16:44:37 · 483 阅读 · 0 评论 -
Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
http://www.iteblog.com/archives/1381转载 2016-07-17 16:47:45 · 599 阅读 · 0 评论 -
Kafka设计解析:Kafka High Availability
http://www.iteblog.com/archives/1360转载 2016-07-17 16:48:52 · 211 阅读 · 0 评论 -
Spark Streaming和Kafka整合开发指南
http://www.iteblog.com/archives/1322http://www.iteblog.com/archives/1326转载 2016-07-17 16:49:55 · 166 阅读 · 0 评论 -
Kafka设计解析:Kafka High Availability (下)
http://www.iteblog.com/archives/1383转载 2016-07-17 16:50:52 · 204 阅读 · 0 评论 -
用Spark往Kafka里面写对象设计与实现
http://www.iteblog.com/archives/1296转载 2016-07-17 16:51:47 · 212 阅读 · 0 评论 -
Kafka剖析:Kafka背景及架构介绍
http://www.iteblog.com/archives/1305转载 2016-07-17 16:52:33 · 246 阅读 · 0 评论 -
Kafka设计解析:Kafka Consumer解析
《Kafka剖析:Kafka背景及架构介绍》 《Kafka设计解析:Kafka High Availability(上)》 《Kafka设计解析:Kafka High Availability (下)》 《Kafka设计解析:Replication工具》 《Kafka设计解析:Kafka Consumer解析》文章目录 [hide]1 High Le转载 2016-07-17 16:54:23 · 823 阅读 · 0 评论 -
Apache Kafka编程入门指南:Producer篇
Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer;消息接受者成为Consumer;此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是pro转载 2016-07-17 16:55:14 · 2259 阅读 · 0 评论 -
Apache Kafka编程入门指南:设置分区数和复制因子
http://www.iteblog.com/archives/1581转载 2016-07-17 16:56:23 · 975 阅读 · 0 评论 -
Kafka管理工具介绍
http://www.iteblog.com/archives/1605转载 2016-07-17 16:58:44 · 285 阅读 · 0 评论 -
kafka在zookeeper中对应目录
Zookeeper DirectoriesThe following gives the zookeeper structures and algorithms used for co-ordination between consumers and brokers.NotationWhen an element in a path is denoted [xyz], that m转载 2017-07-13 16:17:45 · 1469 阅读 · 0 评论