玩转设计模式-多来源的数据结构统一

本文探讨如何使用设计模式,特别是工厂模式和模板方法模式,将来自不同平台的素材数据结构化统一。通过实例展示了在ETL业务中,如何处理和转换多来源数据,以满足下游计算处理需求,同时保持良好的拓展性。
摘要由CSDN通过智能技术生成

玩转设计模式-多来源的数据结构统一

看完本文📖

你将:

  • 清楚多来源的数据如果做到结构统一
  • 对模板方法模式有更多的了解
  • 对简单工厂(虽说不是设计模式中的一种,但是用的还是挺多的)能有更深的理解
  • 知道设计模式之间的组合使用

前言

本文主要是记录和分享我在做ETL的业务时解决多种不同来源的数据进行结构化统一的问题。本文涉及了23种设计模式中的工厂模式和模板方法模式。

业务说明

在消息队列中,有各种不同平台的素材数据,但是每个平台的素材数据可能都稍有不同,我们需要将这些数据处理一下,最后输出统一的数据格式供下游进行计算处理;同时也要有良好的拓展性,以供我们后续拓展素材来源。

我画了下面这张图来帮助大家理解业务场景

数据抽取

首先数据抽取转换的结果是获得一个统一的数据结构的对象,而且是多种来源。所以我们可以使用工厂模式来进行解耦。这里我就使用简单工厂模式了,虽然它不是23种设计模式中的,但是用起来比较简单。

由于虽然是不同来源的数据,但是多多少少还是会有一些相同的属性的,我们可以将这些共同的属性统一进行设置,不同的属性再单独进行处理,这也符合我们的模板方法模式的应用场景。

具体类的设计如下:

准备工作

引入maven依赖:

<dependencies>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.22</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.78</version>
    </dependency>
</dependencies>
复制代码

本文主要用来讲解使用设计模式来解决实际业务,所以其他的依赖,诸如:kafkaflink等都没有引入

功能实现

MediaEnum

package enums;

import lombok.Getter;

/**
 * @author 菜菜
 * @date 2022/1/9 22:21
 * @des
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值