定时跑视图往另外一张表添加数据_数据仓库数据治理方案

数据仓库数据治理方案

数据仓库在数据治理时,通常建立数据模型,分层维护。一般有两种方式:

1. 面向未来可能或数据规划,从底层数据出发来模型构建;

2. 面向主题构建模型。减少模型涉及不到,和初期无法确定未来数据情况。

使用kylin构建数据仓库是怎么处理数据治理的呢?

kylin构建cube,可以多表关联构建。大多数复杂SQL需要经过拆分,多次汇总最后使ADS层数据得到构建。其中每一次任务构建,在kylin中设置定时策略构建。任务构建需要维护,当数据发生变化时,由重刷任务使数据更新完成。所以,kylin在数据治理时,有个极大的好处是,通过构建每一个数据展示任务,实际上已经提前做了分拆构建(人为拆分),并且它会去维护这些繁杂的任务以及定时更新策略。

有impala/kudu 构建的主要OLAP数据仓库,数据ETL任务设置定时策略可按一定频率刷新数仓数据。处理过程中包括新增数据和更新数据。

ODS : 数据ETL之后,在KUDU中存储的贴源数据即为ODS层数据,这里重点是维护ETL任务,保证增量数据新增和更新完成。另外需要对一些事实表建维表,包括时间,交易类型,支付类型,渠道,银行,商户类型等维表。使整体事实表和维表呈星形,在数据查询时,通过维表关联。这样好处是,能通过维表统计多种多样的维度数据统计。缺点是,在对一个本来简单的数据查询时,需要关联好几个维表,使其显得格外复杂。

DWS : 即为汇总层。主要任务是对主题数据汇总。

ADS: 主题数据物化层

37be32a6e9aa9786ae89da71f349d9c2.png

数据治理实施方法

(一)、确定主题

各业务需求主题

(二)、确定量度

在确定了主题以后,将考虑要分析的技术指标,诸如年销售额之类。它们一般为数值型数据。或者将该数据汇总,或者将该数据取次数、独立次数或取最大最小值等,这样的数据称为量度。

量度是要统计的指标,必须事先选择恰当,基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。

(三)、确定事实数据粒度

在确定了量度之后,要考虑到该量度的汇总情况和不同维度下量度的聚合情况。考虑到量度的聚合程度不同,将采用“最小粒度原则”,即将量度的粒度设置到最小。

在采用“最小粒度原则”的同时,不必担心海量数据所带来的汇总分析效率问题,因为在后续建立多维分析模型(CUBE)的时候,会对数据提前进行汇总,从而保障产生分析结果的效率。

(四)、确定维度

维度是指分析的各个角度。例如希望按照时间,或者按照地区,或者按照产品进行分析,那么这里的时间、地区、产品就是相应的维度。基于不同的维度,可以看到各量度的汇总情况,也可以基于所有的维度进行交叉分析。

这里首先要确定维度的层次(HierarChy)和级别(Level)。在时间维度上,按照“年-季度-月”形成了一个层次,其中“年”、“季度”、“月”成为了这个层次的3个级别;同理,当建立产品维度时,可以将“产品大类-产品子类-产品”划为一个层次,其中包含“产品大类”、“产品子类”、“产品”三个级别。

(五)、创建事实表

在确定好事实数据和维度后,将考虑加载事实表。

做法是将原始表与维度表进行关联,生成事实表。事实表除了各维度代理键外,还有各量度数据,这将来自原始表,事实表中将存在维度代理键和各量度。

事实数据表是数据仓库的核心,需要精心维护,在JOIN后将得到事实数据表,一般记录条数都比较大,需要为其设置复合主键和索引,以呈现数据的完整性和基于数据仓库的查询性能优化。事实数据表与维度表一起放于数据仓库中,如果前端需要连接数据仓库进行查询,还需要建立一些相关的中间汇总表或物化视,以方便查询。

谈谈传统数仓技术构架

传统数仓通常都是通过HIVE来构建,部署个Hadoop,然后HIVE,以及hive需要的MySQL。

最多在加上Hbase,全是hadoop一套技术组件。离线数据通过sqoop同步到HIVE里,增量数据的处理方法很原始,就是每天做对数仓数据做个镜像,重新拉取。也有对需要更新的数据,通过扫表或解析MySQL日志发送kafka消息,在hive里对数仓数据删除,然后再插入。

另外,也有直接往Hbase里同步数据,主要解决存储的扩展问题。Hbase本身的查询性能也非常不错,及时现在也好像没有在查询性能上比他更好的存储组件。分析上通过impala,presto配合,一套数仓架构基础也能构建完成。数据质量方便不必说,分层质量的方案是很早就有的。

这种方式虽然耗时,在取数时,也因为是通过hive查询启动MapReduce程序,时效性很长,因此通常都是跑定时任务做报表统计。但总体上运行稳定,数据量不大的情况下,方案基本能应付支持。

因此新的架构出现,主要在解决取数快速,和能即查即用上。这就需要在存储和计算上解决查询快速和及时响应。存储上,会通过使用支持数据更新的存储如KUDU等分布式存储来提数仓数据及时更新,减少延时。计算分开来,有像impala,presto的内存计算查询引擎,直接查询底层存储数据聚合返回;也有想Spark SQL,Flink 这样的流式计算引擎,对存量数据启动内存任务计算获取数据,对增量数据也能支持流式计算纳入查询结果返回。

因此,分布式查询引擎和流式计算是新一代大数据技术核心。

附大数据整体架构图:

4e9ddb77ec6706fab84801fd29833fff.png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值