llzhang237的博客

原创 ETL处理时增量思路

ETL处理时增量思路 在处理过程中，多个大表关联时通常会有性能问题，所以通常会采用增量方式，那在增量处理时我们需要考虑哪些呢？ 1、若来源表为一个频繁变化的A表与其他几乎无变化的表关联时，这时只需要考虑A表的增量； （1）A表增量 JOIN 其他表全量，更新目标表； 2、若来源表为相互关联的多个部分A表（变化频繁）、B表（变化频繁），C（变化缓慢），这时我们应该考虑多张表增量； （1）A表增量 JOIN B表、C表全量，更新目标表； （2）B表增量 ...