56.订单明细实付金额分摊(实时)

第1章 需求分析及实现思路
1.1 需求分析
主订单的应付金额【origin_total_amount】一般是由所有订单明细的商品单价*数量
汇总【sku_price*sku_num】组成。
但是由于优惠、运费等都是 以订单为单位 进行计算的,所以减掉优惠、加上运费会得到
一个最终实付金额【
final_total_amount】。
但问题在于如果是 以商品进行交易额分析 ,就需要把优惠、运费分摊到购买的每个商品
中。
1.2 业务流程图

 

1.3 实现思路
1.3.1 功能 1:准备订单明细数据
前面我们已经将订单和用户、是否首单状态以及省份进行关联,并且将宽表保存到了
ES 中,但是订单表中缺少订单明细,通过订单明细我们才能与商品进行关联,所以我们需
要先准备订单明细数据,再让订单明细与商品进行关联。
1.3.2 功能 2:双流合并
所以除了订单事实表与维表进行合并形成宽表,还需要 订单事实表 订单明细事实表
行合并形成更大的宽表
1.3.3 功能 3:订单明细实付金额分摊
计算出订单中每一笔商品分摊后的实付金额
1.3.4 功能 4:将订单及明细保存到 ClickHouse
1.3.5 功能 5:发布数据接口(统计新增交易额)
从 ClickHouse 中,查询出订单和订单明细数据,并提供数据接口,方便其它使用者进
行统计分析。
引用网络文章开启本课程的开篇: 在大数据分析领域中,传统的大数据分析需要不同框架和技术组合才能达到最终的效果,在人力成本,技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。让很多中小型企业非常苦恼,不得不被迫租赁第三方大型公司的数据分析服务。  ClickHouse开源的出现让许多想做大数据并且想做大数据分析的很多公司和企业耳目一新。ClickHouse 正是以不依赖Hadoop 生态、安装和维护简单、查询速度快、可以支持SQL等特点在大数据分析领域越走越远。  本课程采用全新的大数据技术栈:Flink+ClickHouse,让你体验到全新技术栈的强大,感受时代变化的气息,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。本课程不仅告诉你如何做项目,还会告诉你如何验证系统如何支撑亿级并发,如何部署项目等等。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助,如对我录制的教程内容有建议请及时交流。 课程概述:在这个数据爆发的时代,像大型电商的数据量达到百亿级别,我们往往无法对海量的明细数据做进一步层次的预聚合,大量的业务数据都是好几亿数据关联,并且我们需要聚合结果能在秒级返回。  那么我们该如何实现这一需求呢?基于Flink+ClickHouse构建电商亿级实时数据分析平台课程,将带领大家一步一步从无到有实现一个高性能的实时数据分析平台,该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:概况统计、全站流量分析、渠道分析、广告分析、订单分析、运营分析(团购、秒杀、指定活动)等,该系统指标分为分钟级和小时级多时间方位分析,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。 本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的大数据开发过程,代码现场调试。通过本课程的学习再加上老师的答疑,你完全可以将本案例直接应用于企业。 本套课程可以满足世面上绝大多数大数据企业级的海量数据实时分析需求,全部代码在老师的指导下可以直接部署企业,支撑千亿级并发数据分析。项目代码也是具有极高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。  本课程包含的技术: 开发工具为:IDEA、WebStorm Flink1.9.0 ClickHouseHadoop2.6.0 Hbase1.0.0 Kafka2.1.0 Hive1.0.0 Jmeter(验证如何支撑亿级并发)Docker (虚拟化部署)HDFS、MapReduce Zookeeper SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Binlog、Canal MySQL Vue.js、Nodejs Highcharts Linux Shell编程  课程亮点: 1.与企业对接、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink新版本 4.Flink join 实战 5.Flink 自定义输出路径实战 6.全链路性能压力测试 7.虚拟化部署 8.集成指标明细查询 9.主流微服务后端系统 10.分钟级别与小时级别多时间方位分析 11.数据库实时同步解决方案 12.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 13.集成SpringCloud实现统一整合方案 14.互联网大数据企业热门技术栈 15.支持海量数据的实时分析 16.支持全端实时数据分析 17.全程代码实操,提供全部代码和资料 18.提供答疑和提供企业技术方案咨询 企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
在Flink SQL中,可以通过编写SQL查询语句来实时汇总订单明细金额和数量,并进行展示。以下是一个示例,展示了如何使用Flink SQL实现这一功能。 假设我们有一个订单明细表`order_details`,包含以下字段: - `order_id`:订单ID - `product_id`:产品ID - `amount`:金额 - `quantity`:数量 - `order_time`:订单时间 我们希望实时汇总每个订单金额和数量,并将结果展示出来。 ```sql -- 创建订单明细表 CREATE TABLE order_details ( order_id STRING, product_id STRING, amount DOUBLE, quantity INT, order_time TIMESTAMP(3), WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'order_details_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ); -- 创建结果表,用于展示汇总结果 CREATE TABLE order_summary ( order_id STRING, total_amount DOUBLE, total_quantity INT, window_start TIMESTAMP(3), window_end TIMESTAMP(3) ) WITH ( 'connector' = 'kafka', 'topic' = 'order_summary_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ); -- 实时汇总订单金额和数量 INSERT INTO order_summary SELECT order_id, SUM(amount) AS total_amount, SUM(quantity) AS total_quantity, TUMBLE_START(order_time, INTERVAL '1' MINUTE) AS window_start, TUMBLE_END(order_time, INTERVAL '1' MINUTE) AS window_end FROM order_details GROUP BY order_id, TUMBLE(order_time, INTERVAL '1' MINUTE); ``` 在这个示例中: 1. 我们首先创建了一个订单明细表`order_details`,并指定了Kafka作为数据源。 2. 然后,我们创建了一个结果表`order_summary`,用于存储汇总结果。 3. 最后,我们使用Flink SQL的窗口函数`TUMBLE`对订单明细进行1分钟的滚动窗口聚合,并插入到结果表中。 通过这种方式,我们可以实时汇总订单金额和数量,并将结果展示出来。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据开发工程师-宋权

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值