电商
CentOS_Pc
这个作者很懒,什么都没留下…
展开
-
基于flink流处理的动态实时电商分析系统01
0:计算引擎的发展史: 第一代:hadoopMapreduce 第二代:Tez、Oozie批处理 第三代:spark基于内存实时处理框架有向无环图,job内部的有向无环图 第四代:flink真正的实时系统 1:flink特点: 1.1高吞吐、低延迟 ...原创 2019-02-03 14:10:06 · 1080 阅读 · 2 评论 -
基于flink流处理的动态实时电商分析系统02
1:电商分析数据来源 上报服务:从已有的业务系统中获取数据 日志数据:从已有的业务系统中通过flume获取数据 数据库数据:从关系型数据库中获取数据(mysql、oracle) 2:获取不同源数据,将数据上传到kafka消息队列中。 3:flink中kafka消息队列中获取数据,对数据级别进行处理 实时处理、批处理 4:分析后的数据进行存储,存储...原创 2019-02-04 10:14:06 · 1100 阅读 · 3 评论