mysql数据库就是derby数据库_【数据库 与 数据仓库的本质区别是什么？】-看准网...

匿名用户

1-2 数据仓库(Data Warehouse) vs 操作数据库系统(DBMS)联机操作数据库系统(OLTP)的两个任务：1.执行联机事务 2.查询处理联机分析处理系统(OLAP)基于Data Warehouse，主要是数据从业者做数据分析操作。1-2-1 OLTP和OLAP的主要区别：用户和系统的面向性：OLTP面向用户，即顾客，被用于日常事务的查询和处理。OLAP面向市场(此前版本是面向分析),使用者是数据行业从业者(knowledge worker)数据内容：OLTP管理和存储当前数据OLAP管理大量历史数据，提供汇总和聚集机制，并在不同的粒度层(汇总的hierarchy)上管理信息。数据库设计：OLAP: 依据实体-关系图(E-R Diagram)和数据库规范范式(如3NF, BCNF)，设计目的是平衡冗余和数据关联性OLTP: 依据Star Schema, subject-oriented. 设计目的是平衡冗余和数据访问效率。访问模式：OLTP:由一个个原子性的事务组成，需要并发控制和恢复机制(这在所有的Transaction中都有体现，并不只是数据库独有，有兴趣的读者请参考下方链接)事务(计算机术语)_百度百科OLAP:大部分是只读操作(由于数据仓库中的数据大部分是历史数据，所以改动的意义不大。实际上很多数据仓库也省略了Update操作，并认为这样的操作是没有意义的，即使少量的写操作也可以用create+delete组合来解决，只读操作在提高读取速率上有不小的贡献)1-2-2 为什么需要分离的数据仓库这又要谈到RDBMS和Data warehouse的区别了。RDBMS是为已知的任务(CRUD操作/更高级的SQL命令)和负载而设计的，如使用主码索引(primary key，作为tuple查询的依据)和散列(hash，作为理论上最优越的数据集合存储形式)等设计来优化固定的操作(CRUD等)而RDBMS的事务机制是关系数据库的一大最典型特征，举一个经典的例子：大富翁银行有一个账户，我们称之为“孙小美账户”孙小美通过网上银行和ATM等多种方式从她的账户同时取钱，假设卡中有10000元，她的网上操作和ATM取款都是10000元。显然我们不应该让孙小美取出两万元，那么这就涉及到事务的操作了，即使是同时的请求，假设银行同时有两个服务进程接受了这两个取款请求，设为进程A, B进程A取出了10000元，成功完成事务。进程B在取钱过程中执行账户余额查询，出现异常，事务中止。如果没有这样的机制，RDBMS的数据就会出现异常，导致多并发的操作无法正常执行，造成实际上的经济损失。数据仓库的查询通常是大量数据的汇总级计算，需要多维的数据组织，由于我们的数据并不是实时的最新数据，而是历史数据，我们在执行数据挖掘任务时通常只需要只读操作，这就表示我们并不需要RDBMS中的事务机制，这对拥有海量数据的数据仓库而言，节省了很大的开下，大大提高了OLAP系统的并行执行速度和数据吞吐量。本节选来源于Wallace QIAN：《数据挖掘...》 Chapter 4. 数据仓库与OLAP最近在总结知识库，会陆续更新数据挖掘/人工智能/算法设计相关的内容，绝对贴近前沿。也欢迎UNSW有意的同学关注和参与我的知识库建设。希望把这个专栏作为未来回国找工作的简历内容之一，也希望感兴趣的同行和同学关注并支持，指出我内容上的缺失、错漏和不足。

2018-12-22 06:05

评论

1

0/140

发布

匿名