总结:数据中台是把业务生产资料转变为数据生产力,同时数据生产力反哺业务,不断迭代循环的闭环过程一数据驱动决策、 运营
数仓理解:传统的数据库也能做数仓,本质来讲数仓是一种理念,不同的技术都可以去实现这种理念,只是不同的技术有不同的擅长领域和优劣势
ROLAP:同时连接明细数据和汇总数据,实时根据用户提出的需求对数据进行计算后返回给用户
MOLAP:预先将客户的需求计算好以结果的形式存下来,当客户提出需求后,找到对应结果返回即可。特点是当命中需求后返回非常快,同等资源下支持的数据体量更大,支持的并发更多,不足则是当表的维度越多,越复杂,其所需的磁盘存储空间则越大,构建cube也需要一定的时间
数据库大小以2T为分界线的(ntfs单一文件的大小),阿里云有很多数据库,一开始很难理解,为什么要那么多数据库。背后还是场景,不同的场景需要不同的优劣势,就好比都是出行,但是有汽车、火车、飞机、自行车、滑板车……,这样来理解数据库也是一样的。
数仓理解:数仓更多面向的是存储,与传统的数据库么有什么区别,是一种理念。而大数据重要的是计算,主要是性能问题。
1 数据仓库
数据仓库:很大的用来存储数据的集合,主要用于报告和分析业务的操作
- 很大:数据信息通常从一个或多个数据库即异构数据源中抽取,成为数据仓库的历史记录
- 说明:明确那些数据是有价值的,从面向分析角度去看。从做什么事情,来找源数据中有什么数据可以满足
特性:
- 面向主题:数据按照一定主题域进行组织
- 集成:存储的数据大部分来源于传统的数据库,将所需数据从原来的数据抽取出来,进行加工和集成,统一与综合之后才能进入数据仓库,也就是ETL预处理(其中数据不完整一定没有考虑数据库特征事务)。因为事务型数据中的数据一般都是不完整的和数据形式不统一的。
- 与时间有关、反应变化:数据通常包含历史信息(系统记录了企业从过去某一时点到目前的各个阶段的信息)(历史数据都是累加的,不断变多)
- 不可变更:一旦某个数据进入数据仓库以后,一般情况下将被长期保留。在数据仓库中数据不可被修改
总结:建立数据仓库的目的是为企业高层系统地组织、理解和使用数据以便进行战略决策