![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
wlk_328909605
抱你于怀,寄你于心。跃然屏上,付我青春韶华,换你真情相待。
展开
-
中国移动运营分析实时监控平台之数据采集及SparkStreaming直连Kafka
数据采集阶段 通过自定义source,将产生的日志从服务器上缓存到kafka中,并记录自定义的Offset。 部分数据: {"bussinessRst":"0000","channelCode":"0705","chargefee":"10000","clientIp":"222.214.151.245","gateway_id"原创 2018-10-17 20:58:58 · 1462 阅读 · 1 评论 -
中国移动运营分析实时监控平台之SparkStreaming实时数据分析并将最后结果存储到redis中
业务概况 通过实时的分析用户的流量数据,获取用户动态的充值的订单量、充值全过程的平均时长、以及某段时间充值的成功率等。首先解析数据格式,从标签体系库中截取出需要的字段值,使用SparkStreaming的对抽取出来的属性加以处理。 1)统计每个市的充值失败的次数,并以地图的方式显示数据的分布情况。 2)以市为维度,统计订单量排名前5的市,并统计每个市的订单的成功率。 3)实时统计全省的每分钟的充值...原创 2018-10-17 21:03:16 · 2978 阅读 · 0 评论