Kafka
文章平均质量分 82
bigdataCoding
这个作者很懒,什么都没留下…
展开
-
Kafka 学习笔记
Kafka APi的理解原创 2016-09-18 20:20:54 · 475 阅读 · 0 评论 -
Storm与Kafka集成
因为项目上要做推荐,推荐对时间的要求比较高,如果用Spark的话存在一定的延迟(Spark的时间窗口为单位为1s),所以决定用storm做数据的实时处理,大概的架构思路为若要做数据清洗的话可以用Spark SQL(离线数据),Kafka做为消息队列(数据来源),storm做数据的处理,然后推荐算法的模型为协同过滤(ItemBase),某个用户的推荐结果可以放到redis(key_values,原创 2017-01-14 17:21:16 · 1173 阅读 · 0 评论 -
Spring和Kafka集成
由于项目中Storm或者Spark的实时数据源来自Kafka,本文章具体说明了Spring和Kafka的整合maven中依赖如下:dependency> groupId>org.springframework.integrationgroupId> artifactId>spring-integration-kafkaartifactId> version>2.原创 2017-01-15 14:25:13 · 2310 阅读 · 0 评论 -
为什么Kafka可以高效快速的存储
Kafka写入速度为什么很快原创 2017-01-05 10:36:04 · 3773 阅读 · 0 评论 -
Storm+Kafka+Redis实现热门搜索
前面的章节已经分别讲到过Storm和Kafka,Redis的集成,由于项目中有个需求要保留统计客户的历史搜索,因为搜索的频率比较快,要让App端上客户端快速的看到自己的历史搜索,在选型上spark和Storm作为备选,Spark的吞吐量比较大但是相应的延迟比较高(spark比较适用于大数据量大统计并且对实时醒要求不是太高),因为要快速的响应客户端的调用决定用Storm并且Storm对Kafka和R原创 2017-01-23 20:33:36 · 2955 阅读 · 0 评论 -
关于Kafka Reblance的问题
http://www.jasongj.com/2015/08/09/KafkaColumn4/原创 2017-08-23 13:54:44 · 1398 阅读 · 0 评论 -
StromTrident和Hbase 实现热门搜索
统计APP中,全量用户的搜索统计,并且列出TopN 主要流程如下: 1.APP端搜索的搜索数据通过推送到Kafka中 2.Strom 与 Kafka 有 native的接口OpaqueTridentKafkaSpout 3.Storm中应用到SlidingDurationWindow即窗口统计 4. 数据写入到Hbase当中TridentHBaseMappercode: stat原创 2017-12-06 10:37:19 · 368 阅读 · 0 评论 -
Kafka 幂等,事物,消息可靠性
本文结合在使用Kafka中的使用,和遇到的问题1.Kafka中如何保障发送消息的可靠性?首先我们在创建一个Producer是,可以设置的一些参数如下:1(默认):这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕机了,则会丢失数据。0:这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输...原创 2018-06-07 16:46:53 · 4133 阅读 · 0 评论