![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL
文章平均质量分 83
二两窝子面
这个作者很懒,什么都没留下…
展开
-
Pyodps批量处理作业
1.背景由于业务原因,工作中一直使用的是专有云,且目前不支持OpenAPI,因此作业只能使用手工创建,这在有大量表对象需要创建作业时造成了明显的时间和人力的耗费。 针对这种问题,首先想到了编写资源,再通过一个Pyodps作业调用资源处理批量的表对象。但是必须解决两个问题:1.各个子实例需要实现独立并行;2.需要不影响子实例的运维。即某个子实例报错需要反馈出来且不影响其他子实例的正常运行。2.思路 总体思路:通过一个Pyodps作业,并行地去调起表操...原创 2021-07-19 14:07:19 · 2796 阅读 · 0 评论 -
两表模糊匹配某字段做关联
前言:遇到需要用码表对百万级的明细表打标的情况,而明细表与码表中只有某个字段具有模糊匹配的关系。具体场景:码表中的某个码值字段与明细表中的某一字段呈包含关系,现在需要通过这两个字段的模糊匹配做两表关联,给明细表打上码表中的另一字段。大致思路是两表笛卡尔积后用INSTR做筛选来解决模糊匹配的问题,从而生成新的码表,最后就可以通过新的码表给明细表打标了。数据量大的可以考虑给表加上分区字段分区处理,我这边使用的是ODPS,因此没有做手工的分区处理。示例:明细表:TB1;码表:TB2现在需要原创 2020-12-16 22:17:50 · 2832 阅读 · 0 评论