oracle advanced compression,Oracle 11g Advanced Compression

随着海量数据时代的到来，TB和EB级别的数据库已经出现在很多企业系统中。相对几何级别增长的数据量，存储似乎是一个水涨船高不能填满的空洞。数据表级别的压缩，是一定程度上缓解海量数据存储的一个解决方案。

在Oracle的产品发展历程中，数据表压缩compress技术，一直是一个不断提高和进化的方面。在Oracle中，技术的推出，就是Oracle压缩技术成熟的重要标志。

1、Oracle Compression压缩

简单的说，Oracle压缩采用的是“重复值消除”(Eliminating Duplicate Values)算法。在数据库块级别，Oracle将压缩数据保存在数据块block中，解压数据使用的所有信息也都保存在各自的数据块内。如果存在数据行或者数据列重复的情况，只在块头保存一次。这些只保存一次的数据，称为“symbol table for that block”(该数据块的符号表)。每个数据行如果使用这些符号表重复数据，只需要保存一个符号表记录的“short reference”。

在Compression类型上，Oracle根据数据表的操作类型，提供两种类型的压缩：

üCompress for direct_load operation：直接路径压缩，也是默认的压缩方式。该选项适合于Data warehouse类型系统，该类型系统没有很频繁的DML操作，数据加载方式也大都是使用批量加载；

üCompress for all operation：是Advanced Compression的一个特点。通常的压缩技术对于DML操作的影响是巨大的。Advanced Compression的这个选择类型，就是为OLTP系统准备。该选项为所有的DML操作开启了压缩功能；

2、Advanced Compression适应范围

Oracle11g的Advaced Compression组件适应范围较广，几乎涉及到所有空间存储对象。

üOLTP数据表压缩

Oracle最早从9i版本中，提供了压缩compression功能。早期的compression允许数据表在进行批量加载操作(bulk load operation)是对数据进行压缩，比如direct path load(sql loader)、create table as select…操作(CTAS)。这种方式适应数据仓库(Data warehouse)类型系统。

Advanced Compression技术组件提供了对各种类型操作进行压缩的技术，包括了常规的DML insert和update操作。具体包括下列操作：

1)直接路径加载，如sql loader；

2)Create table xxx as select xx操作(CTAS)；

3)并行parallel(或者串行使用append提示的插入)语句；

4)单行或者多行插入；

5)单行或者多行更新；

在使用一些数据管理语句，如move操作的时候，在执行阶段就会对数据表加以exclusive级别数据锁，禁止进行DML操作。操作结束时，数据表还是能够保证压缩状态。

对压缩数据表，进行DML操作的性能损耗可以做到最小。这也是Advanced Compression最大特色。

üSecure File压缩和消重复(Compression and DeDuplication)

Secure File Deduplication是用于消除重复Secur File数据的智能化技术。Oracle可以将重复的多份Secure File数据只保存一份，其他保存都是对该文件的一个镜像引用。这样做就可以大大减少空间占用。

üData Dump数据泵压缩

数据泵data dump是Oracle推出的替代原来imp/exp工具的高性能数据备份还原工具。使用数据泵将数据export导出的时候，data dump comprssion就将数据表压缩后存储在DMP文件中。在导入的时候，数据泵会自动将压缩的表数据进行解压。

üRMAN压缩

RMAN是Oracle主推的备份还原工具在写入磁盘disk或者磁带tape之前，就已经是压缩过的备份数据。在进行还原操作的时候，是不要进行显示的解压工作。这样对于保存的完全、增量备份集合set来说，是非常好的优质特性。

üDataGuard Network Compress

DataGuard是Oracle HA(High Availability)的重要组成部分。Primary Database和Standby Database之间，通过网络建立实时连接。Primary Database的任何数据变化，都会以redo log的方式持续传入到standby database上，进行apply应用过程。最终实现一致性。

使用Oracle Advanced Compression技术，可以对网路中传输的redo data进行压缩，从而减少redo gap。最终让standby database可以更快的进行同步，实现HA目标。

最后特别说一下关于Advanced Compression lisence问题，在11g之前使用Compress是不需要单独的许可费用的。从11g开始，Advanced Compression需要单独许可使用，额外进行收费。

下面我们通过一系列实验来演示table compression的使用。

3、实验环境准备

首先我们准备实验环境，构建一个相对较大的数据表。

SQL> select * from v$version;

BANNER

--------------------------------------------------------------------------------

Oracle Database11gEnterpriseEdition Release11.2.0.1.0 - Production

PL/SQL Release11.2.0.1.0 - Production

CORE11.2.0.1.0Production

TNS for Linux: Version11.2.0.1.0 - Production

NLSRTL Version11.2.0.1.0 – Production

SQL> select * from v$option where parameter='Advanced Compression';

PARAMETERVALUE

-------------------- ----------------------------------------------------------------

Advanced Compression TRUE

构建数据表t_ori，其中包括21万余条数据。

SQL> create table t_ori as select * from dba_objects;

Table created

SQL> select count(*) from t_ori;

COUNT(*)

----------

217731

SQL> exec dbms_stats.gather_table_stats(user,'T_ORI',cascade => true);

PL/SQL procedure successfully completed

从数据字典中，我们可以清晰的看到数据表空间分配。

SQL> select segment_name, count(*) extents, sum(blocks) blocks,sum(bytes)/1024/1024 MBs from dba_extents where wner='SYS' and segment_name='T_ORI' group by segment_name;

SEGMENT_NAMEEXTENTSBLOCKSMBS

-------------------- ---------- ---------- ----------

T_ORI40320025

SQL> SELECT table_name, compression, compress_for FROM dba_tables where table_name='T_ORI';

TABLE_NAMECOMPRESSION COMPRESS_FOR

------------------------------ ----------- ------------

T_ORIDISABLED

4、Compress For Direct_Load Operation

首先我们使用compress常规选项。

SQL> create table t_compresscompressas select * from t_ori where 1=0;

Table created

SQL> SELECT table_name, compression, compress_for FROM dba_tables where table_name in ('T_ORI','T_COMPRESS');

TABLE_NAMECOMPRESSION COMPRESS_FOR

------------------------------ ----------- ------------

T_ORIDISABLED

T_COMPRESSENABLEDBASIC

在创建数据表时，使用compress子句，就可以创建出具有压缩功能的数据表。从数据字典看，T_COMPRESS开启了压缩功能，是Basic类型。

Compress对应的就是compress for direct_load operations压缩类型。使用传统的压缩方式，适合data warehouse类型。

SQL> create table t_compdir compress for direct_load operations as select * from t_ori;

Table created

Executed in 0.829 seconds

SQL> SELECT table_name, compression, compress_for FROM dba_tables where table_name in ('T_ORI','T_COMPRESS', 'T_COMPDIR');

TABLE_NAMECOMPRESSION COMPRESS_FOR

------------------------------ ----------- ------------

T_COMPDIRENABLEDBASIC

T_ORIDISABLED

T_COMPRESSENABLEDBASIC

如果对数据表使用append方式添加数据，是使用direct load加载数据。

SQL> insert/*+append */into t_compress select * from t_ori;

217731 rows inserted

Executed in 0.563 seconds

SQL> commit;

Commit complete

Executed in 0 seconds

SQL> select segment_name, count(*) extents, sum(blocks) blocks,sum(bytes)/1024/1024 MBs from dba_extents where wner='SYS' and segment_name in ('T_ORI','T_COMPRESS','T_COMPDIR') group by segment_name;

SEGMENT_NAMEEXTENTSBLOCKSMBS

-------------------- ---------- ---------- ----------

T_COMPDIR228967

T_COMPRESS37281622

T_ORI40320025

Executed in 0.078 seconds

上面实验，我们可以对比出在进行不同操作时advanced compression的特性。对于compress for direct_load operations操作，使用CTAS操作的压缩率较高。原数据表大小为25M，使用CTAS操作生成的数据表T_COMPDIR大小只有7M，压缩率仅三分之二。

但是，如果使用append提示进行插入操作，虽然也会有压缩效果，但是压缩效果远不如CTAS，压缩后的数据表为22M。

下面如果使用一般的分条