(一) 高级复制(Advanced Replication)
首先，从总部业务系统的业务需求出发，业务系统只需要对只读的数据进行同步和查询。
Oracle高级复制，也成为对称复制，分为多主体复制、物化试图复制和前两种的混合复制（参考图1-1，图1-2）。高级复制主要是用在对称的、等同的数据库表之间的（单向或双向）的复制，以满足分布式应用的需求。但高级复制也有一些缺点：
1. 对网络的稳定性和传输速度要求比较高。
2. 配置和管理稍微麻烦。
图1-1 Multimaster Replication
图1-2 Read-Only Materialized View Replication
下面是高级复制中的 物化视图架构的创建步骤：
1、检查系统初始化参数
global_names 为 TRUE 以及job_queue_processes大于0。
2、检查全局数据库名称
上述三个站点的db_domain名称应该相同，只有db_name不同。
3、修改上述三个站点中的tnsnames.ora文件
4、建立主体站点
建立复制管理用户repadmin;建立主体组和实体化视图组;
注册传播用户;
建立物化视图站点复制管理用户的代理用户;
5、设置物化视图站点1
建立物化视图管理用户mvadmin;
注册传播用户;
6、设置物化视图站点2
建立物化视图管理用户mvadmin;
注册传播用户;
7、建立主体组
创建复制组，并将复制对象添加到复制组;
生成复制支持;
8、建立物化视图日志
建立物化视图日志（主站点）;
建立物化视图;
将物化视图和相关索引添加到物化视图组;
将物化视图添加到刷新组;
对于高级复制中的多主环境和可更新的物化视图环境而言，它的原理是使用Oracle的Internal Trigger捕获DML及DDL操作，并将这些操作封装在Remote Procedure Calls(RPCs)里，并借助Deferred Transaction Queue来传递RPCs并在目标数据库利用Internal Trigger执行传递过来的RPCs从而实现了数据的同步。
如果仅仅是高级复制环境中的只读物化视图环境，那么Oracle这里并不会使用Deferred Transaction Queue来传递RPCs，而是直接利用解析物化视图日志的方式来实现数据的同步。
(二) 物化视图(MATERIALIZED VIEW)
1. 物化视图的种类：
物化视图，根据不同的着重点可以有不同的分类
1) 按刷新方式分：FAST/COMPLETE/FORCE
2) 按刷新时间的不同：ON DEMAND/ON COMMIT
3) 按是否可更新：UPDATABLE/READ ONLY
4) 按是否支持查询重写：ENABLE QUERY REWRITE/DISABLE QUERY REWRITE
物化视图有三种刷新方式：COMPLETE、FAST和FORCE。
1) 完全刷新（COMPLETE）会删除表中所有的记录（如果是单表刷新，可能会采用TRUNCATE的方式），然后根据物化视图中查询语句的定义重新生成物化视图。
2) 快速刷新（FAST）采用增量刷新的机制，只将自上次刷新以后对基表进行的所有操作刷新到物化视图中去。
3) 采用FORCE方式，Oracle会自动判断是否满足快速刷新的条件，如果满足则进行快速刷新，否则进行完全刷新。
设置REFRESH ON COMMIT的物化视图不能访问远端对象。
Oracle物化视图的快速刷新机制是通过物化视图日志完成的。Oracle如何通过一个物化视图日志还可以支持多个物化视图的快速刷新。
还可以使用以下语句进行手动刷新：
exec DBMS_MVIEW.REFRESH('aics_t_dv');
1、完全刷新
exec dbms_mview.refresh(list => 'aics_t_dv',method => 'c');
2、快速刷新
exec dbms_mview.refresh(list => 'aics_t_dv',method => 'f');
2. 对物化视图日志的讨论：
物化视图日志表的大小跟日志表的临时存储的数据量有关。比如DEV_INFO表每天增量更新大概为300万条记录。那MLOG$日志表的大小也大概为300M左右。而另外一个日志表RUPD$只是临时表，不会耗用空间。
(三) 流复制(Streams Replication)
Streams Replication是Oracle 10g新推出的同步技术。Streams Replication基于日志挖掘原理（数据库必须运行在Archive Log模式），可以实现表，用户，数据库级别的同步。
Streams Replication在实时性、稳定性、高效率、低消耗（较少的cpu/network资源）等方面更有优势，但凡一些新推出的功能，都或多或少存在一些不确定的因素。Stream对系统的设计与维护方要有相当的对stream技术的把控能力，而大多数系分与DBA对这个东西都没有经验，所以难以推广。
从我们的需求出发，我们只需要通过数据库链，建立基于主键的快速刷新的物化视图就可以满足需求，而且易于配置和管理。
创建快速刷新的物化视图的步骤和参考脚本如下所示：
1. 在源表建立物化视图日志
--connect BISONcu
CREATE MATERIALIZED VIEW LOG ON MODEL
tablespace &BISONCU_SPACE -- 日志空间
WITH PRIMARY KEY; -- 指定为主键类型
2. 授权给中间用户
--此处省略中间用户建立同义词的SQL语句
grant select on MODEL to aicentersupport;
grant select on MLOG$_MODEL to aicentersupport;
3. 在目标数据库上创建DBLink
4. 在目标数据库上创建MATERIALIZED VIEW
--connect BISONcs
CREATE MATERIALIZED VIEW AICS_MODEL
TABLESPACE &BISONCS_SPACE
REFRESH FAST
ON DEMAND
--第一次刷新时间
--START WITH to_date('2008-08-08 20:00:00', 'yyyy-mm-dd hh24:mi:ss')
START WITH sysdate
--刷新时间间隔。每1天刷新一次，时间为凌晨2点
--NEXT TRUNC(SYSDATE,'dd')+1+2/24
NEXT sysdate+1/24/20
WITH PRIMARY KEY
--USING DEFAULT LOCAL ROLLBACK SEGMENT
DISABLE QUERY REWRITE AS
select model_id, status, model_name, manu_id, description, create_time, update_time, sw_version
from aics_model@link_aics;
5. 在目标物化视图上创建索引
--例如对DEV_INFO表，需要创建索引，主键索引已经默认创建
create index IDX_T_DV_CT on aics_DEV_INFO (CREATE_TIME, UPDATE_TIME) tablespace &BISON_IDX;
create index IDX_T_DV_UT on aics_DEV_INFO (UPDATE_TIME) tablespace &BISON_IDX;
create index I_T_DV_MSISDN on aics_DEV_INFO (MSISDN) tablespace &BISON_IDX;
考虑因素：
1) 数据复制的实时性；
虽然不能实现立即更新的实时性，但系统需求只要求在每天凌晨3点能够读取更新完成的数据。
所以只要设置ON DEMAND方式，并每天一次或多次进行增量刷新。
2) 数据复制对系统性能的影响；
测试的性能指标数据——
|
| 数据量 | 耗时 | 磁盘I/O | 备注 |
| 创建物化视图 | 100w数据 | 11 secs |
| 不包括创建索引的时间。 |
| 14000w数据 | 2175 secs |
| 大概半小时 | |
| 刷新视图 | 100w数据的刷新 | 980.875 secs |
| 在其基础上刷新100w |
| 14000w数据的刷新 | 10030secs(近3个小时) |
| 在其基础上刷新100w | |
| 物化视图日志 | 新增100w数据 | N/A | N/A |
|
3) 数据复制实现方案配置维护的复杂程度：
对于快速刷新的物化视图的配置和维护：
源数据库只需要建立 物化视图日志，开放源表和物化视图日志的读权限。
目标数据库只需要建立快速刷新的物化视图，并创建相关的索引。
4) 创建物化视图的查询语句和分区：
总部外部服务接口模块在创建物化视图时，只需要引用表的部分字段，而且可以对物化视图进行分区。例如对AICS_DEV_INFO表，创建其物化视图的语句如下：
CREATE MATERIALIZED VIEW AICS_DEV_INFO
partition by hash (IMEI)
(
partition P1 tablespace &BISON_OTHER,
partition P2 tablespace &BISON_OTHER,
partition P3 tablespace &BISON_OTHER,
partition P4 tablespace &BISON_OTHER,
partition P5 tablespace &BISON_OTHER,
partition P6 tablespace &BISON_OTHER,
partition P7 tablespace &BISON_OTHER,
partition P8 tablespace &BISON_OTHER
)
REFRESH FAST
ON DEMAND
--第一次刷新时间
START WITH to_date('2008-08-08 20:00:00', 'yyyy-mm-dd hh24:mi:ss')
--刷新时间间隔。每1天刷新一次，时间为凌晨2点
NEXT TRUNC(SYSDATE,'dd')+1+2/24
WITH PRIMARY KEY
DISABLE QUERY REWRITE AS
select MSISDN,IMSI,IMEI,MANU_ID,MODEL_ID,UPDATE_TIME from AICS_DEV_INFO@link_aics;
5) 其他维护工作：
¨ 物化视图日志表不能删除，如果删除则目标服务器的物化视图必须重建。
¨ 物化视图不支持DDL的变更同步。但如果建立物化视图时，没有引用到源表的部分字段，则这些字段是可以更改的。
¨ 查看目标物化视图的刷新情况。
select * from user_mviews;
select * from user_jobs;
select * from dba_jobs_running;
¨ 查看物化视图所在的基表最后被成功刷新的时间:
SELECT MASTER,LOG_TABLE,CURRENT_SNAPSHOTS FROM DBA_SNAPSHOT_LOGS;
四、 参考脚本
下面是创建static_info_child、dev_info两个表的物化视图的参考脚本：
-- 1.在源表的数据库上，创建物化视图日志，指定为主键类型
conn xxx/xxx
define BISON_OTHER=BISON_OTHER
CREATE MATERIALIZED VIEW LOG ON static_info_child
tablespace &BISON_OTHER
WITH PRIMARY KEY;
CREATE MATERIALIZED VIEW LOG ON dev_info
tablespace &BISON_OTHER
WITH PRIMARY KEY;
grant select on MLOG$_static_info_child to aicentersupport;
grant select on MLOG$_dev_info to aicentersupport;
-- 2. 在目标表数据库上，创建物化视图，指定为主键类型和快速刷新
conn BISONcs/BISONcs
define BISONCS=BISONCS
define BISONCS_OTHER=BISONCS
define BISONCS_IDX=BISONCS_IDX
--set timing on;
CREATE MATERIALIZED VIEW AICS_static_info_child
TABLESPACE &BISONCS
REFRESH FAST
ON DEMAND
--第一次刷新时间 START WITH to_date('2008-08-08 20:00:00', 'yyyy-mm-dd hh24:mi:ss')
START WITH sysdate
-- 一天一次
NEXT TRUNC(SYSDATE,'dd')+1+2/24
-- 每两小时一次
-- next TRUNC(SYSDATE,'hh')+2/24
WITH PRIMARY KEY
DISABLE QUERY REWRITE AS
select item_id, model_param_id, attr_id, attr_name, item_value, description, supported
from AICS_static_info_child@BISONCS;
CREATE MATERIALIZED VIEW AICS_DEV_INFO
partition by hash (IMEI)
(
partition P1 tablespace &BISONCS_OTHER,
partition P2 tablespace &BISONCS_OTHER,
partition P3 tablespace &BISONCS_OTHER,
partition P4 tablespace &BISONCS_OTHER,
partition P5 tablespace &BISONCS_OTHER,
partition P6 tablespace &BISONCS_OTHER,
partition P7 tablespace &BISONCS_OTHER,
partition P8 tablespace &BISONCS_OTHER
)
REFRESH FAST
ON DEMAND
--第一次刷新时间 START WITH to_date('2008-08-08 20:00:00', 'yyyy-mm-dd hh24:mi:ss')
START WITH sysdate
NEXT TRUNC(SYSDATE,'dd')+1+2/24
WITH PRIMARY KEY
DISABLE QUERY REWRITE AS
select IMEI, MODEL_ID, MANU_ID, SW_VERSION, CREATE_TIME, UPDATE_TIME,MSISDN,IMSI,STATUS
from AICS_DEV_INFO@BISONCS;
-- 3. 在目标物化视图上创建其他索引
create index IDX_aics_DEV_INFO_UT on aics_DEV_INFO (UPDATE_TIME) tablespace &BISONCS_IDX nologging;
create index I_aics_DEV_INFO_MSISDN on aics_DEV_INFO (MSISDN) tablespace &BISONCS_IDX nologging;
扫一扫
2132
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
