- 博客(3)
- 收藏
- 关注
RSS订阅
原创 （etl系列3）etl初探之字段类型
这里因为一个字段可能来源于多个字段，比如union操作，所以我们定义字段的父字段为list集合。这样就可以得出我们的aa字段来源于输入步骤a的字段aa，b的字段aa。首先，我们通过迭代的方式生成dag里面每个步骤的输入字段和输出字段。同样我们需要定义一个owner，代表这个字段属于哪个步骤生成的。在对步骤的输入输出字段完成初始化后，我们开始推导字段的血缘关系。在步骤的元数据对象里面定义获取输入字段，获取输出字段的方法。每个步骤需要实现根据输入字段生成输出字段的方法。首先，定义字段的属性。
2024-07-07 19:15:15
241
原创 （etl系列2）etl初探之流程控制
接上一篇：我们切分了dag并开始提交stage任务到线程池执行。那么这样就带来了一些问题1.如何判断某个步骤是否执行结束2.如何判断整个转换是否结束3.当某个步骤出错时，我们如何停止整个转换。...
2024-07-06 19:54:21
384
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人