![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
14_实时分析系统
实时分析系统
潭中镜月
这个作者很懒,什么都没留下…
展开
-
实时项目5(灵活分析)
1.0 需求分析为了方便数据分析人员查看需要用户表 (1) 订单表 (2) 订单明细表 (3)(1) 与 (2) (3) 基本不在一个批次 ; (2) 与 (3) 是 1 对 n 的关系 , 且可能不在一个批次2.0 架构分析有 T+1 和 T+0 模式双流join : 因为有数据延迟 , 所以要用full outer join 把没有 join 上的 order_detail 也保留下来 , 把order_indo 查看前面的 order_detail , 再无条件的保留下 or原创 2020-09-08 21:10:09 · 193 阅读 · 0 评论 -
实时项目4(预警需求)
1.0 需求分析1.1 简介**实时预警,**是一种经常出现在实时计算中的业务类型。根据日志数据中系统报错异常,或者用户行为异常的检测,产生对应预警日志。预警日志通过图形化界面的展示,可以提醒监控方,需要及时核查问题,并采取应对措施。1.2 需求说明**需求:**同一设备,5分钟内三次及以上用不同账号登录并领取优惠劵,并且过程中没有浏览商品。达到以上要求则产生一条预警日志。并且同一设备,每分钟只记录一次预警。1.3 预警日志格式mid设备****iduids领取优惠券登录过原创 2020-09-08 21:09:30 · 251 阅读 · 0 评论 -
实时项目3(交易额需求)
1.0 采集数据1.1 框架流程1.2 Canal 入门1.2.1 什么是 Canal阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务。Canal是用Java开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。目前,Canal主要支持了MySQL的Binlog解析,解析完成后才利用Cana原创 2020-09-08 21:08:53 · 119 阅读 · 0 评论 -
实时项目2(日活需求)
2.0 日活数据查询接口2.1 访问路径总数http://localhost:8070/realtime-total?date=2020-07-18分时统计http://localhost:8070/realtime-hours?id=dau&date=2020-07-182.2 要求数据格式总数[{“id”:“dau”,“name”:“新增日活”,“value”:1200}, {“id”:“new_mid”,“name”:“新增设备”,“value”:原创 2020-09-08 21:08:02 · 133 阅读 · 0 评论 -
实时项目1(数据采集模板)
1.0 需求概述1.1 实时需求与离线需求的比较**离线需求(T+1):**一般是根据前一日的数据生成报表等数据,虽然统计指标、报表繁多,但是对时效性不敏感。实时需求(T+0):主要侧重于对当日数据的实时监控,通常业务逻辑相对离线需求简单一下,统计指标也少一些,但是更注重数据的时效性(从查询到出结果的时间比较短),以及用户的交互性。即席查询:主要侧重于临时性 不需要每天都去跑的任务1.2 需求说明1.2.1 日用户首次登录(日活)分时趋势图,昨日对比数据流:用户行为数据 --原创 2020-09-08 21:07:12 · 1055 阅读 · 0 评论