Kafka
文章平均质量分 79
wangjinming1976
IT老民工
展开
-
在clouder manager中使用Flume处理数据链
目标: 在Cloudera Manager中创建两个Flume的Agent,Agent1从local file中获取内容,写入到kafka的队列中。Agent2以Agent1的sink作为source,将数据从kafka中读取出来,写入到HDFS中。 注意 我的Cloudera Manager使用的是CDH5.8的Parcel,在这个版本中,Kafka使用的是0.9.原创 2016-12-06 15:02:59 · 5311 阅读 · 1 评论 -
用Spark Streaming+Kafka实现订单数和GMV的实时更新
前言 在双十一这样的节日,很多电商都会在大屏幕上显示实时的订单总量和GMV总额。由于订单数量巨大,不可能每隔一秒就到数据库里进行一次SQL的数据统计,这时候就需要用到流式计算。本文将介绍一个简单的Demo,讲解如何通过Spark Stream消费来自Kafka中订单信息,然后计算订单的数量和金额。 总体流程 一个完整的流程大概如下图所示。 用户下单之原创 2017-02-04 15:04:11 · 6200 阅读 · 0 评论