kafka
「已注销」
这个作者很懒,什么都没留下…
展开
-
kafka 分区多节点消费
之前的csdn找不回来了,决定重新注册一个。望支持~~~为了解决多台服务,共同消费kafka消息,目前采用的是随机partition。画了个简图:/** * @ClassName: RiskPartitioner * @author DHing * */ public class RiskPartitioner impleme...原创 2018-12-27 19:10:02 · 9192 阅读 · 0 评论 -
Kafka 安装、消息发送
之前的csdn找不回来了,决定重新注册一个。望支持~~~kafka简介 kafka是由LinkedIn开发,主要是用来处理Linkedin的大面积活跃数据流处理(activity stream). 此类的数据经常用来反映网站的一些有用的信息,比如PV,页面展示给哪些用户访问,用户搜索什么关键字最多,这类信息经常被log到文件里,然后线下且周期性的去分析这些数据。现在这种用户活跃数据已经成...原创 2018-12-28 14:35:19 · 362 阅读 · 0 评论 -
storm从kafka消息队列读取数据进行读写操作
业务场景: storm+kafka 作为经典组合,storm的作用主要是进行流式计算,对于源源不断的均匀数据流流入处理是非常有效的,而现实生活中大部分场景并不是均匀的数据流,而是时而多时而少的数据流入,这种情况下显然用批量处理是不合适的,如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉,应对这种情况,使用kafka作为消息队列是非常合适的选择,kafka可以将不...原创 2019-01-02 17:04:29 · 11387 阅读 · 0 评论 -
Kafka、Spring WebSocket 实时仪表盘
Apache Kafka是一个pub-sub消息流,可用于创建企业消息队列。Apache Kafka的Spring支持Spring框架为Apache Kafka提供了实时发布和订阅数据的支持。Spring WebSocketSpring框架还托管了一个名为Spring WebSocket的项目,该项目可用于实时在客户端和服务器之间来回发送消息。为此,Spring WebSocket...翻译 2019-02-22 17:31:52 · 984 阅读 · 0 评论 -
Kafka 使用ExecutorService 进行消费
前言: Apache Kafka 作为当下最常用消息中间件之一。给到我的需求是需要我们处理大量的消息(如果单线程处理过多消息会出现性能瓶颈)。如何使用Java的ExecutorService框架来创建线程池处理大量消息? 1.创建一个可以从topic中poll()消息后传递到线程池以进行进一步处理。 2.创建工作线程,以执行每条消息的进一步处理。...原创 2019-03-20 17:38:22 · 2910 阅读 · 0 评论