【2024.7.24】 大规模数据处理实战(极客时间)

“Workflow 设计模式”

复制模式(Copier Pattern)

复制模式通常是将单个数据处理模块中的数据,完整地复制到两个或更多的数据处理模块中,然后再由不同的数据处理模块进行处理。工作流系统图通常如下图所示。当我们在处理大规模数据时,需要对同一个数据集采取多种不同的数据处理转换,我们就可以优先考虑采用复制模式。

过滤模式(Filter Pattern)

过滤模式的作用是过滤掉不符合特定条件的数据。在数据集通过了这个数据处理模块后,数据集会缩减到只剩下符合条件的数据。工作流系统图通常如下图所示。

当我们在处理大规模数据时,需要针对一个数据集中某些特定的数据采取数据处理时,我们就可以优先考虑采用过滤模式。

分离模式(Splitter Pattern)

如果你在处理数据集时并不想丢弃里面的任何数据,而是想把数据分类为不同的类别来进行处理时,你就需要用到分离模式来处理数据。它的工作流系统图通常如下图所示。

需要注意的是,分离模式并不会过滤任何数据,只是将原来的数据集分组了。

合并模式(Joiner Pattern)

合并模式会将多个不同的数据集转换集中到一起,成为一个总数据集,然后将这个总的数据集放在一个工作流中进行处理

总结:

用户注册,入库,合并模式

购买机票,分为查询机票和购买 查询机票,读取特定机票,过滤模式

购买机票,将所有渠道的票和合并起来,合并模式

24小时提醒,过滤出这班航班的机票,过滤模式 发送短信和电子邮箱,复制模式之后,进行分类模式发送

这几个模式就是sql的几个operator吗?

复制 → subquery

过滤 → where

分离 → group by

合并 → join

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值