Kafka
不清不慎
热爱编程,热爱生活。
展开
-
Kafka Java API使用Demo
首先导入相关pom文件依赖,这里使用的kafak0.8.1,scala是2.10.4版本,注意导入正确的版本,与你的kafka集群版本相匹配。pom.xml:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem...原创 2018-07-20 17:37:59 · 3664 阅读 · 0 评论 -
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
大数据实时流式数据处理是大数据应用中最为常见的场景,与我们的生活也息息相关,以手机流量实时统计来说,它总是能够实时的统计出用户的使用的流量,在第一时间通知用户流量的使用情况,并且最为人性化的为用户提供各种优惠的方案,如果采用离线处理,那么等到用户流量超标了才通知用户,这样会使得用户体验满意度降低,这也是这几年大数据实时流处理的进步,淡然还有很多应用场景。因此Spark Streaming应用而生,...原创 2018-07-21 01:41:31 · 21998 阅读 · 3 评论 -
深入理解Kafka数据高并发写入、可靠性以及EOS语义
Kafka作为一个优秀的高性能消息队列,广泛用于各种大数据高并发场景下,常常听一些技术大牛讲起kafka滔滔不绝,赞不绝口,但是它是如何保证数据的高并发写入,可靠性以及流数据处理中常见的EOS语义的呢?本篇文章让我们来一起深入探究其内部原理。一、 高并发写入作为一个消息队列,我们首先需要考虑消息如何传递,如何存储。在高并发场景下,我们常常会想到如何提高系统的吞吐量,Kafka在生产者写入消...原创 2019-03-17 00:59:16 · 1398 阅读 · 0 评论 -
消息队列的作用,高可用,顺序消费的那些事(二)
文章目录:消息队列如何选型,各自的优缺点?如何保证其可用性如何保证消息不丢失?如何保证消息不重复处理(EOS语义)?如何保证消息的消费的顺序性?如何解决集群故障后大量数据积压?继上篇文章【消息队列的作用,高可用,顺序消费的那些事(一)】之后我们讨论了前三个 话题,在这篇文章中我们接着之前遗留下的话题来讨论。一、如何保证消息不重复处理?消息队列我们首先以kafka为例,我们...原创 2019-04-26 23:40:40 · 1217 阅读 · 2 评论 -
消息队列的作用,高可用,顺序消费的那些事(一)
文章目录:消息队列如何选型,各自的优缺点?如何保证其可用性如何保证消息不丢失?如何保证消息的消费不重复(EOS语义)?如何保证消息的消费的顺序性?如何解决集群故障后大量数据积压?一、消息队列的优缺点我们常常听见一些大佬说学习一个东西不仅要知其然,还要知自其所以然。我们项目中常常用到消息队列,那么为什么我们需要使用消息队列,用了它对系统带来了什么好处了?解决了什么问题,还是是...原创 2019-04-24 23:25:50 · 3642 阅读 · 0 评论 -
浅谈Kafka选举机制
Kafka是一个高性能,高容错,多副本,可复制的分布式消息系统。在整个系统中,涉及到多处选举机制,被不少人搞混,这里总结一下,本篇文章大概会从三个方面来讲解。控制器(Broker)选主分区多副本选主消费者选主控制器(Broker)选举所谓控制器就是一个Borker,在一个kafka集群中,有多个broker节点,但是它们之间需要选举出一个leader,其他的broker充当follo...原创 2019-06-09 00:10:46 · 21213 阅读 · 4 评论