直连和缓存数据模型在BI项目中的应用

在大数据BI分析需求中，经常会同时存在对大量历史数据进行分析和对时点数据进行实时分析的需求。这两种情况，所需要分析的数据体量和特点完全不同。分析历史数据的时候，需要对过去一段时间内的业务数据按照年、季度、月、周等时间范围分析，数据量可能上百万、千万甚至更多。而时点数据体量较小，但是实时性分析展示的要求高。因此，面对这两种场景，就需要使用抽取数据模型和直连数据模型的双驱数据建模引擎来处理，以更好的满足用户更多的数据分析场景，帮助用户更好的实现数据分析需求。

一、抽取数据模型和直连数据模型的功能
抽取数据模型和直连数据模型功能比较多，具体大家可以参考以下两个链接进行了解；
抽取数据模型，顾名思义就是对原始数据库数据进行抽取，并进行建模，抽取的数据存储到本地的数据仓库，以获得更快的分析速度和性能表现。
抽取数据模型：https://gcdn.grapecity.com.cn/fo ... 6334&extra=page%3D1

直连数据模型，相当于在数据模型层形成一个查询语句，这个查询语句直接作用于用户数据源。直连数据模型一定是单数据连接的模型。
直连数据模型：https://gcdn.grapecity.com.cn/fo ... 6352&extra=page%3D1

1.抽取数据模型和直连数据模型的本质
做商业智能BI分析绕不开的问题就是数据模型应该怎么选择，数据的时效性应该怎么选，应该按照什么样的标准来进行选择。
其实本质上抽取数据模型和直连数据模型对应的就是数据的时效性问题；抽取数据模型相当于离线数据，直连数据模型相当于实时数据。
数据从业务产生数据到分析数据整个过程中需要进行一系列的清洗，加工处理过程，在这个过程中所带来的时间窗口大小就是数据的时效性，按照数据延迟大小可以分为离线数据和实时数据。

https://gcdn.grapecity.com.cn/showtopic-136354-1-1.html
1.1 离线数据
离线数据一般是指T-1的日期，例如今天的日期T=2021-11-12，那么数据结果中，能够体现的业务数据只包括前一天的(昨日数据)。有人也称之为T+1的数据，把数据日期当作T，叫法不同，但本质都是指的今天处理的数据最新日期是截止昨天。
当然离线数据也可以是处理历史的数据，对历史的数据进行分析统计。

1.2 实时数据