阅读指引:详细系统介绍请阅读文末参考阅读,本文主要是知识点概要,是给读者的take away notes。转载请标明出处。
引言:从事数据库的工作,首先应该知道Oracle数据库一开始是怎么产生的,解决了什么问题。这与本文分享的两类系统息息相关。
数据处理大致可以分成两大类:
- OLTP(on-line transaction processing)联机事务处理,又叫在线交易系统
- OLAP(On-Line Analytical Processing)联机分析处理,又叫DW (Data Warehouse)数据仓库系统
OLTP是传统的关系型数据库的主要应用,workload类型主要是基本的、日常的事务处理,如淘宝购物,银行交易等。OLAP是数据仓库系统的主要应用,主要workload类型是批量操作(batch job),如BI,分析决策系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
主要区别:
OLTP系统用户数量多,并发量高,比如淘宝上很多人同时抢购,但是涉及的数据量少,每个人购买的物品都不会太多,增删查改的数据量都较少。OLTP 系统性能调优关注重点:
- 强调连接池的使用
- 强调数据库内存效率,注意各种泄漏,如游标泄漏、会话泄漏、锁泄漏
- 绑定变量的使用
- 强调并发操作;
推荐阅读:官方文档《SQL Tuning Guide》Improving Real-World Performance Through Cursor Sharing
以及Oracle Real-World Performance Team制作的相关视频(在油管上,需要翻墙)。
OLAP一般是用来跑报表的,帮助分析决策,所以一般只有少数几个用户,比如BA在使用,但是涉及的数据量巨大,因为可能在做这个月或者这一年的数据统计分析等。OLAP 系统强调SQL执行时长,强调磁盘I/O,强调并行执行与分区的使用等。OLAP 系统性能调优关注重点:
第一步:打基础
- 使用Set-base思维处理数据
- 数据模型的设计:尽量使用星型模型
- 使用ELT (Extract Load Transform) 代替ETL:将数据放在最适合处理数据的地方处理
- 再通过以下四点得到比较好的执行计划
- 约束条件的使用:非空和非强制约束条件的使用
- 数据类型的正确性与一致性
- 统计数据的准确性
- 分区的使用
第二步:进阶使用不同的加速技术
- 并行执行的使用
- 压缩技术的使用
- 集群的使用
- 星型转换(Star Transformation)
- 布隆过滤(Bloom Filters)
- Database In-Memory的使用
- Exadata
重要:前面第一步基础不打好,后面再用多先进的技术都是徒劳!
重要:前面第一步基础不打好,后面再用多先进的技术都是徒劳!
重要:前面第一步基础不打好,后面再用多先进的技术都是徒劳!
重要的事情说三遍!
不是所有的数据库都能同时胜任这两种系统的。在云时代,Oracle与其竞争对手竞争对手AWS都分别针对这两种系统推出了自己的数据库云服务:
- OLTP: Oracle ATP (Autonomous Transaction Processing) vs Amazon Aurora
- OLAP/DW: Oracle ADW (Autonomous Data warehouse) vs Amazon Redshift
然而真实情况是,很多用户,尤其是中小型企业,出于IT经费或者系统设计的考虑,没法用两个独立的系统跑不同的负载。通常他们的负载都是混合的,既一台服务器上既要跑OLAP又要跑OLTP。营业时间做完交易,停止营业以后就要跑报表。这时候需要数据库整合服务。这就是Oracle优势。我们说Oracle是全能的数据库,适用于多种场景,能同时兼顾OLTP和OLAP系统。Exadata+Oracle In-memory就是Oracle为广大客户提供的实时HTAP解决方案。
参考阅读:OLAP、OLTP的介绍和比较