![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
凯己几
生而不易,何来简单。
展开
-
spark消费kafka的两种方式
https://blog.csdn.net/woloqun/article/details/80635304Spark-Streaming获取kafka数据的两种方式Receiver与Direct一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储...转载 2019-02-13 23:01:22 · 4222 阅读 · 0 评论 -
使用java 编写spark-streaming从指定的offset开始消费kafka 并且打印出每一条信息的offset
话不多说直接上代码,相信有点功底的spark 程序员都可以看懂这个代码 。第一步 创建kafka主题。(鄙人的测试时使用的1副本,3分区)kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test第二步 使用java 程序实时的向kafka中生...原创 2019-03-21 09:25:56 · 1802 阅读 · 0 评论 -
scala编写, flink 读取kafka并且自定义水印再将数据写入kafka中
flink 读取kafka数据并指定event time作为时间划分 再将数据导入kafka中(每分钟数据总和)(使用scala编写-复制运行可以直接跑通)1.需求说明(自定义窗口,每分钟的词频统计)1.从kafka中读取数据(topic:t1)。2.kafka中有event time时间值,通过该时间戳来进行时间划分,窗口长度为1分钟,窗口步长为1分钟。3.由于生产中可能会因为网...原创 2019-04-02 10:16:44 · 6433 阅读 · 0 评论 -
kafka的应用场景
关于消息队列的使用一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。...转载 2019-04-11 12:34:58 · 4181 阅读 · 1 评论