11.Flink实时项目之支付宽表

最新推荐文章于 2024-07-29 10:46:37 发布

李自提

最新推荐文章于 2024-07-29 10:46:37 发布

阅读量205

点赞数

分类专栏： it 文章标签：计算机

本文链接：https://blog.csdn.net/weixin_45566993/article/details/124227973

版权

本文介绍了如何在Flink实时项目中构建支付宽表，以解决支付信息与订单明细关联的问题。支付宽表用于统计商品级别的支付状况，通过Hbase存储订单明细或使用双流join进行数据合并。同时，文章涵盖了支付相关实体类的设计以及DWM层的任务实现，强调了状态(state)去重、CEP筛选、intervalJoin流处理和维度关联优化等关键技能的学习。

摘要由CSDN通过智能技术生成

Python微信订餐小程序课程视频

https://blog.csdn.net/m0_56069948/article/details/122285951

Python实战量化交易理财系统

https://blog.csdn.net/m0_56069948/article/details/122285941

支付宽表

支付宽表的目的，最主要的原因是支付表没有到订单明细，支付金额没有细分到商品上，没有办法统计商品级的支付状况。所以本次宽表的核心就是要把支付表的信息与订单明细关联上。

解决方案有两个

一个是把订单明细表（或者宽表）输出到 Hbase 上，在支付宽表计算时查询 hbase，这相当于把订单明细作为一种维度进行管理。

一个是用流的方式接收订单明细，然后用双流 join 方式进行合并。因为订单与支付产生有一定的时差。所以必须用 intervalJoin 来管理流的状态时间，保证当支付到达时订单明细还保存在状态中。

支付相关实体类

PaymentInfo.java：支付实体类

import lombok.Data;
import java.math.BigDecimal;
/**
 * @author zhangbaohpu
 * @date 2021/12/25 10:08
 * @desc 支付实体类
 */
@Data
public class PaymentInfo {
    Long id;
    Long order_id;
    Long user_id;
    BigDecimal total_amount;
    String subject;
    String payment_type;
    String create_time;
    String callback_time;
}

PaymentWide.java：支付宽表实体类

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.commons.beanutils.BeanUtils;
import java.lang.reflect.InvocationTargetException;
import java.math.BigDecimal;
/**
 * @author zhangbaohpu
 * @date 2021/12/25 10:10
 * @desc 支付宽表实体类
 */
@Data
@AllArgsConstructor
@NoArgsConstructor
public class PaymentWide {
    Long payment_id;
    String subject;
    String payment_type;
    String payment_create_time;
    String callback_time;
    Long detail_id;
    Long order_id ;
    Long sku_id;
    BigDecimal order_price ;
    Long sku_num ;
    String sku_name;
    Long province_id;
    String order_status;
    Long user_id;
    BigDecimal total_amount;
    BigDecimal activity_reduce_amount;
    BigDecimal coupon_r