一招教你解决大数据量下的各种报表使用问题

在我们日常制作报表分析过程中，总会遇到各种问题。比如，报表底层数据日益增多、报表加载超慢，这些情况该怎么解决？

数据库是最常见的能处理大数据的计算方案，而永洪能利用数据库来完成数据计算。但是，有些报表的计算较为复杂，使用SQL实现会非常困难，这时，我们就会采用永洪报表呈现的直观计算方式来完成数据的计算，这种方式导致后台要直接处理大数据，不仅性能低下，而且很容易造成报表加载时间过长。

今天这篇文章，主要介绍永洪数据集市数据集，这种方式提供强大、便捷的数据处理方式，用户可以轻松应对大数据量场景下报表加载过慢的问题。

一、实现功能

将查询结果按天增量导入永洪集市并对集市文件按天打上索引，永洪报表在处理逻辑时只会扫描查询日期内的数据。

二、实现步骤

1、设置参数

创建一个名为TEST_YH的SQL数据集，在查询条件中加上参数<etd_date_lm>，此参数为动态获取昨日日期，后续会提到。

2、新建作业

在调度作业中新建任务，其中类型设置为：增量导入数据，数据集为上一步创建的TEST_YH的SQL数据集，文件夹为存放文件的名称，最后我们选择追加数据。

在任务最下方的脚本中设置可以动态获取昨天日期的参数<etd_date_lm>参数，