Etl基础必问必答

基础概念类

• 什么是ETL：ETL是Extracting-Transforming-Loading的缩写，是数据集成过程的三大基本步骤。提取（Extracting）指从源数据中提取目标数据集；转换（Transforming）是将目标数据集进行业务逻辑转换；加载（Loading）是以合适的格式将经过业务逻辑转换的数据集载入到目标地。

• ETL和ELT的区别：ETL是先在抽取后对数据进行转换，再加载到目标系统；ELT则是先抽取数据到目标系统，再在目标系统中进行转换操作，通常更适合大数据场景，利用目标系统如数据仓库的强大计算能力来处理转换。

技术操作类

• 如何处理增量加载与全量加载：全量加载是将源数据中的所有数据一次性抽取到目标系统。增量加载只抽取自上次加载以来发生变化的数据。可以通过记录时间戳、使用日志文件、设置标识字段等方式来实现增量加载，以减少数据处理量和提高加载效率。

• 在ETL过程中如何处理数据质量问题：在数据提取阶段对源数据进行质量检查，如检查数据完整性、准确性；在转换阶段进行数据清洗，处理缺失值、重复值、异常值等；加载后进行数据校验和对比，通过数据监控和告警机制及时发现数据质量问题。

性能优化类

• 如何优化ETL流程的性能：可以使用批量插入而不是逐行插入；对数据进行分区并结合批处理来减少内存压力和提高吞吐量；合理设置默认缓冲区最大行数和缓冲区大小属性；在关系型数据库目标中使用表锁来减少锁定开销；在控制流中启用包并行度，设置较高的最大并发可执行数等。

• ETL过程中遇到数据倾斜怎么办：分析数据倾斜的原因，若是数据源本身分布不均，可在提取阶段进行预处理；也可以在转换阶段采用数据采样、增加分区等方法；或者调整加载策略，如采用分布式加载等方式。

故障处理类

• 如何应对ETL Pipeline的失败：设计失败重试机制，确保任务可重试，避免数据丢失；保证操作的幂等性，即重复运行不会导致数据出错；建立实时告警系统，通过实时监控快速定位问题。

• 如果在ETL过程中出现数据不一致，你会怎么排查和解决：首先检查源数据和目标数据的连接是否正常，数据传输过程中是否有丢失或损坏；查看转换规则是否正确，是否存在数据类型不匹配等问题；检查日志文件，查看是否有相关的错误记录，根据排查结果进行数据修复、调整转换规则或重新进行数据加载等操作。