数据抽取-全量抽取、增量抽取

原文参考链接连接数据 - 数据抽取 - 《有数BI用户手册》 (163.com)

1. 概述

本产品提供了两种数据连接方式，直连和抽取。直连是指直接连接用户数据库进行数据的读取，而抽取则是将表数据抽取到本产品的MPP数据库中，提升查询效率。本文将对数据抽取功能进行详细介绍。

2. 数据抽取的类型

数据抽取分为全量抽取、增量抽取两种抽取方式。

2.1 全量抽取

---

每次抽取的时候将表数据全部抽取至MPP数据库，提供了全量覆盖抽取和全量追加抽取两种抽取方式。

• 全量覆盖抽取：每次抽取，对数据库的全部数据进行抽取，并覆盖MPP数据库已有的数据，如下图所示：

  

• 全量追加抽取：每次抽取，对数据库的全部数据进行抽取，并追加在MPP数据库中，如下图所示：

  

2.2 增量抽取

---

每次只抽取相比于上次更新增加的数据，提供了增量抽取和增量抽取（滚动覆盖）两种抽取方式

• 增量抽取：每次抽取，根据增量字段判断数据库中的数据是否为新增数据，对数据库的新增数据进行抽取，并追加在MPP数据库中，如下图所示：

  

• 增量抽取（滚动覆盖）：每次抽取，根据日期及滚动周期将数据库中的新增以及部分历史数据抽取到MPP数据库中，其中历史数据将会覆盖原数据。

  

关于增量抽取，需要注意的是：

• 只支持针对日期型（Date）和数值型（Int）的字段作为增量抽取的依据字段；
• 只支持对源表新增的数据做增量，如果源表中对数据有更新或删除操作，增量抽取的时候不会检测到这些变化；
• 支持以字符串作为抽取依据，如自增ID。