数据仓库-数据仓库需求

基本需求

数据仓库的目的就是能够让用户方便地访问大量数据。
允许用户查询和分析其中的业务信息。
要求数据仓库是安全的、可访问的、自动化的。

安全性

适当的授权机制

  • 对于用户数据是只读的
  • 划分数据安全等级,公开、机密、秘密、绝密
  • 制定访问控制方案,那些用户访问哪些数据
  • 设计授予、回收、变更用户范文权限方法
  • 添加对数据访问的审计功能。

可访问性

指的是用户访问和检索数据的能力
数据仓库最终用户通常是业务人员、管理人员、数据分析师
他们对组织内的相关业务非常熟悉,对数据理解也很透彻,但不是IT专家。
尽量友好和简单,使得没有技术背景的用户可以轻易查询到他们需要的数据。

自动化

狭义和广义
狭义指的是数据仓库相关作业自动执行。
广义指的是保证数据质量和一致性的前提下,加速数据仓库系统的开发周期的过程。

整个数据仓库生命周期自动化,从对源系统分析到ETL到数据仓库建立、测试、文档化、可以帮助加快产品化进程。降低开发和管理成本。

数据需求

满足数据仓库的数据,确保数据准确性、时效性、和历史可追溯性的需求。

准确性

要想数据仓库实施成功,业务用户必须信任其中数据。
ETL过程总之数据仓库的某个地方保留一份原始数据的复制。

时效性

数据仓库作为分析系统,一般以一天作为时间粒度比较常见。

历史可追溯性

能够辅助随时间变化的趋势分析。帮助理解业务事件与经营绩效之间的关系。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本教程为授权出品 一、课程简介数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值