科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,用数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。
DAP数据分析平台是一款专门用于企业大数据平台构建的产品,它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现,能够有效地帮助企业清晰地分析优劣势,从而调整企业策略,加快企业的信息化发展与整体竞争力。
1整体介绍
DAP数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品,不同于一般的BI平台,DAP数据分析平台更侧重数据的聚合,平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合,从而实现企业业务数据的统一,构建企业统一的、标准的、完整的数据仓库,而数据展现、数据分析、数据报表,以及外部系统数据交互提供支持。
1.1产品方案
首先介绍一下DAP的数据中台方案组合框架:
数据中台方案方案主要是的产品组合是DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性,然后通过Portal门户集成平台展现给客户。
1.2产品说明
数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力、加强决策力,从而提升整体竞争力。
数据分析平台功能有:
1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。
2.数仓模型(业务主题、维度配置、事实配置、模型配置、指标管理)。
3.数据调度(规则校验、调度资源、调度任务、调度日志、质量日志、通知日志)。
4.分析模型(数据集配置、立方体配置、业务类报表、多维度分析)。
5.展现模型(导航管理、组件管理、展现主题、装饰管理)。
6.数据服务(接收服务、查询服务、统计服务、指标服务、业务服务)。
7.算法模型(算法配置、标签管理、算法日志)。
8.统计分析(数据地图、质量分析、血缘分析、影响分析)。
9.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。
1.3场景介绍
DAP数据分析平台产品生命周期,从数据来源、数据治理、数据服务、数据展现。
首先要配置需要的业务主题,然后通过调研的指标从来源系统中找需要的库表到ODS中间库,然后是从ODS到数仓,数仓到加工汇总事实表,通过这些进行数据治理和清洗来源系统的数据让分析出来的数据更准确。
通过DAP治理数据进行数据应用,DAP数据应用有2种方式一种数据服务,数据服务可以在DAP中数据服务查看,也可以通接口调用查看,第二种是分析展现,数据展现是通过组件图表、业务报表、多维分析进行展现数据。
2数据来源
数据分析数据来源于各个业务系统的数据,通过主题和指标分析需要哪些数据、哪些表、哪些系统需要进行数据分析,在DAP数据分析平台中注册,进行抽取数据,从而根据这些数据来创建我们需要的数据分析模型。
2.1功能介绍
数据来源分为应用系统定义注册、数据库来源注册、ODS定义功能,应用系统定义功能是数据来源的业务系统进行定义注册,数据库注册配置是对来源系统数据进行注册,ODS是把业务系统需要进行数据分析表通过ODS不同的来源方式注册到ODS中间库中。
2.2配置功能
1.应用系统定义进行注册来源的业务系统:
(1)应用系统列表页面:
(2)应用系统编辑页面:
2.数据库定义进行来源的业务系统数据库注册:
(1)列表页面:
(2)编辑页面注册数据库数仓账户密码,进行测试连接,重新加载后就可以应用。
3.ODS定义:数据来源方式有源库读取、SQL创建、参考表创建、手动表创建。
(1)源库读取创建:
(2)参考表创建:参