[转]oracle数据库同步技术

oracle数据库同步技术

高级复制
什么是复制?简单地说复制就是在由两个或者多个数据库系统构成的一个分布式数据库环境中拷贝数据的过程。
       高级复制,是在组成分布式数据库系统的多个数据库中复制和维护数据库对象的过程。 Oracle 高级复制允许应用程序更新数据库的任何副本,并将这些更改自动传递到其他数据库,同时确保全局事务处理的一致性和数据完整性。
       同步复制,复制数据在任何时间在任何复制节点均保持一致。如果复制环境中的任何一个节点的复制数据发生了更新操作,这种变化会立刻反映到其他所有的复制节点。这种技术适用于那些对于实时性要求较高的商业应用中。
       异步复制,所有复制节点的数据在一定时间内是不同步的。如果复制环境中的其中的一个节点的复制数据发生了更新操作,这种改变将在不同的事务中被传播和应用到其他所有复制节点。这些不同的事务间可以间隔几秒,几分种,几小时,也可以是几天之后。复制节点之间的数据临时是不同步的,但传播最终将保证所有复制节点间的数据一致。
一、实现数据库复制的前提条件  
1、数据库支持高级复制功能  
您可以用system身份登录数据库,查看v$option视图,如果其中Advanced replication为TRUE,则支持高级复制功能;否则不支持。  
2、数据库初始化参数要求  
①、db_domain = test.com.cn  
指明数据库的域名(默认的是WORLD),这里可以用您公司的域名。  
②、global_names = true  
它要求数据库链接(database link)和被连接的数据库名称一致。  
现在全局数据库名:db_name+”.”+db_domain  
③、有跟数据库job执行有关的参数  
job_queue_processes = 1  
job_queue_interval = 60  
distributed_transactions = 10  
open_links = 4  
第一行定义SNP进程的启动个数为n。系统缺省值为0,正常定义范围为0~36,根据任务的多少,可以配置不同的数值。  
第二行定义系统每隔N秒唤醒该进程一次。系统缺省值为60秒,正常范围为1~3600秒。事实上,该进程执行完当前任务后,就进入睡眠状态,睡眠一段时间后,由系统的总控负责将其唤醒。  
如果修改了以上这几个参数,需要重新启动数据库以使参数生效。  
二、实现数据库同步复制的步骤  
假设在Internet上我们有两个数据库:一个叫深圳(shenzhen),一个叫北京(beijing)。  
具体配置见下表:  
数据库名 shenzhen beijing  
数据库域名 test.com.cn test.com.cn  
数据库sid号 shenzhen beijing  
Listener端口号 1521 1521  
服务器ip地址 10.1.1.100 10.1.1.200  
  
1、确认两台数据库之间可以互相访问,在tnsnames.ora里设置数据库连接字符串。  
①、例如:深圳这边的数据库连接字符串是以下的格式  
beijing =  
(DESCRIPTION =  
(ADDRESS_LIST =  
(ADDRESS = (PROTOCOL = TCP)(HOST = 10.1.1.200)(PORT = 1521))  
)  
(CONNECT_DATA =  
(SERVICE_NAME = beijing)  
)  
)  
运行$tnsping beijing  
出现以下提示符:  
Attempting to contact (ADDRESS=(PROTOCOL=TCP)(HOST=10.1.1.200)(PORT=1521))  
OK(n毫秒)  
表明深圳数据库可以访问北京数据库。  
②、在北京那边也同样配置,确认$tnsping shenzhen 是通的。  
2、改数据库全局名称,建公共的数据库链接。  
①、用system身份登录shenzhen数据库  
SQL>alter database rename global_name to shenzhen.test.com.cn;  
用system身份登录beijing数据库:  
SQL>alter database rename global_name to beijing.test.com.cn;  
②、用system身份登录shenzhen数据库  
SQL>create public database link beijing.test.com.cn using 'beijing';  
测试数据库全局名称和公共的数据库链接  
SQL>select * from global_name@beijing.test.com.cn;  
返回结果为beijing.test.com.cn就对了。  
用system身份登录beijing数据库:  
SQL>create public database link shenzhen.test.com.cn using 'shenzhen';  
测试数据库全局名称和公共的数据库链接  
SQL>select * from global_name@shenzhen.test.com.cn;  
返回结果为shenzhen.test.com.cn就对了。  
3、建立管理数据库复制的用户repadmin,并赋权。  
①、用system身份登录shenzhen数据库  
SQL>create user repadmin identified by repadmin default tablespace users temporary tablespace temp;  
SQL>execute dbms_defer_sys.register_propagator('repadmin');  
SQL>grant execute any procedure to repadmin;  
SQL>execute dbms_repcat_admin.grant_admin_any_repgroup('repadmin');  
SQL>grant comment any table to repadmin;  
SQL>grant lock any table to repadmin;  
②、同样用system身份登录beijing数据库,运行以上的命令,管理数据库复制的用户repadmin,并赋权。  
说明:repadmin用户名和密码可以根据用户的需求自由命名。  
4、在数据库复制的用户repadmin下创建私有的数据库链接。  
①、用repadmin身份登录shenzhen数据库  
SQL>create database link beijing.test.com.cn connect to repadmin identified by repadmin;  
测试这个私有的数据库链接:  
SQL>select * from global_name@beijing.test.com.cn;  
返回结果为beijing.test.com.cn就对了。  
②、用repadmin身份登录beijing数据库  
SQL>create database link shenzhen.test.com.cn connect to repadmin identified by repadmin;  
测试这个私有的数据库链接  
SQL>select * from global_name@shenzhen.test.com.cn;  
返回结果为shenzhen.test.com.cn就对了。  
5、创建或选择实现数据库复制的用户和对象,给用户赋权,数据库对象必须有主关键字。  
假设我们用ORACLE里举例用的scott用户,dept表。  
①、用internal身份登录shenzhen数据库,创建scott用户并赋权  
SQL>create user scott identified by tiger default tablespace users temporary tablespace temp;  
SQL>grant connect, resource to scott;  
SQL>grant execute on sys.dbms_defer to scott;  
②、用scott身份登录shenzhen数据库,创建表dept  
SQL>create table dept  
(deptno number(2) primary key,  
dname varchar2(14),  
loc varchar2(13) );  
③、如果数据库对象没有主关键字,可以运行以下SQL命令添加:  
SQL>alter table dept add (constraint dept_deptno_pk primary key (deptno));  
④、在shenzhen数据库scott用户下创建主关键字的序列号,范围避免和beijing的冲突。  
SQL> create sequence dept_no increment by 1 start with 1 maxvalue 44 cycle nocache;  
(说明:maxvalue 44可以根据应用程序及表结构主关键字定义的位数需要而定)  
⑤、在shenzhen数据库scott用户下插入初始化数据  
SQL>insert into dept values (dept_no.nextval,'accounting','new york');  
SQL>insert into dept values (dept_no.nextval,'research','dallas');  
SQL>commit;  
⑥、在beijing数据库那边同样运行以上①,②,③  
⑦、在beijing数据库scott用户下创建主关键字的序列号,范围避免和shenzhen的冲突。  
SQL> create sequence dept_no increment by 1 start with 45 maxvalue 99 cycle nocache;  
⑧、在beijing数据库scott用户下插入初始化数据  
SQL>insert into dept values (dept_no.nextval,'sales','chicago');  
SQL>insert into dept values (dept_no.nextval,'operations','boston');  
SQL>commit;  
6、创建要复制的组scott_mg,加入数据库对象,产生对象的复制支持  
①、用repadmin身份登录shenzhen数据库,创建主复制组scott_mg  
SQL> execute dbms_repcat.create_master_repgroup('scott_mg');  
说明:scott_mg组名可以根据用户的需求自由命名。  
②、在复制组scott_mg里加入数据库对象  
SQL>execute dbms_repcat.create_master_repobject(sname=>'scott',oname=>'dept', type=>'table',use_existing_object=>true,gname=>'scott_mg');  
参数说明:  
sname 实现数据库复制的用户名称  
oname 实现数据库复制的数据库对象名称  
(表名长度在27个字节内,程序包名长度在24个字节内)  
type 实现数据库复制的数据库对象类别  
(支持的类别:表,索引,同义词,触发器,视图,过程,函数,程序包,程序包体)  
use_existing_object true表示用主复制节点已经存在的数据库对象  
gname 主复制组名  
③、对数据库对象产生复制支持  
SQL>execute dbms_repcat.generate_replication_support('scott','dept','table');  
(说明:产生支持scott用户下dept表复制的数据库触发器和程序包)  
④、确认复制的组和对象已经加入数据库的数据字典  
SQL>select gname, master, status from dba_repgroup;  
SQL>select * from dba_repobject;  
7、创建主复制节点  
①、用repadmin身份登录shenzhen数据库,创建主复制节点  
SQL>execute dbms_repcat.add_master_database  
(gname=>'scott_mg',master=>'beijing.test.com.cn',use_existing_objects=>true, copy_rows=>false, propagation_mode => 'asynchronous');  
参数说明:  
gname 主复制组名  
master 加入主复制节点的另一个数据库  
use_existing_object true表示用主复制节点已经存在的数据库对象  
copy_rows false表示第一次开始复制时不用和主复制节点保持一致  
propagation_mode 异步地执行  
②、确认复制的任务队列已经加入数据库的数据字典  
SQL>select * from user_jobs;  
8、使同步组的状态由停顿(quiesced )改为正常(normal)  
①、用repadmin身份登录shenzhen数据库,运行以下命令  
SQL> execute dbms_repcat.resume_master_activity('scott_mg',false);  
②、确认同步组的状态为正常(normal)  
SQL> select gname, master, status from dba_repgroup;  
③、如果这个①命令不能使同步组的状态为正常(normal),可能有一些停顿的复制,运行以下命令再试试(建议在紧急的时候才用):  
SQL> execute dbms_repcat.resume_master_activity('scott_mg',true);  
9、创建复制数据库的时间表,我们假设用固定的时间表:10分钟复制一次。  
①、用repadmin身份登录shenzhen数据库,运行以下命令  
SQL>begin  
dbms_defer_sys.schedule_push (  
destination => 'beijing.test.com.cn',  
interval => 'sysdate + 10/1440',  
next_date => sysdate);  
end;  
/  
  
SQL>begin  
dbms_defer_sys.schedule_purge (  
next_date => sysdate,  
interval => 'sysdate + 10/1440',  
delay_seconds => 0,  
rollback_segment => '');  
end;  
/  
  
②、用repadmin身份登录beijing数据库,运行以下命令  
SQL>begin  
dbms_defer_sys.schedule_push (  
destination => ' shenzhen.test.com.cn ',  
interval => 'sysdate + 10 / 1440',  
next_date => sysdate);  
end;  
/  
  
SQL>begin  
dbms_defer_sys.schedule_purge (  
next_date => sysdate,  
interval => 'sysdate + 10/1440',  
delay_seconds => 0,  
rollback_segment => '');  
end;  
/  
10、添加或修改两边数据库的记录,跟踪复制过程  
如果你想立刻看到添加或修改后数据库的记录的变化,可以在两边repadmin用户下找到push的job_number,然后运行:  
SQL>exec dbms_job.run(job_number);  
三、异常情况的处理  
1、检查复制工作正常否,可以在repadmin 用户下查询user_jobs  
SQL>select job,this_date,next_date,what, broken from user_jobs;  
正常的状态有两种:  
任务闲——this_date为空,next_date为当前时间后的一个时间值  
任务忙——this_date不为空,next_date为当前时间后的一个时间值  
异常状态也有两种:  
任务死锁——next_date为当前时间前的一个时间值  
任务死锁——next_date为非常大的一个时间值,例如:4001-01-01  
这可能因为网络中断照成的死锁  
解除死锁的办法:  
$ps –ef|grep orale  
找到死锁的刷新快照的进程号ora_snp*,用kill –9 命令删除此进程  
然后进入repadmin 用户SQL>操作符下,运行命令:  
SQL>exec dbms_job.run(job_number);  
说明:job_number 为用select job,this_date,next_date,what from user_jobs;命令查出的job编号。  
2、增加或减少复制组的复制对象  
①、停止主数据库节点的复制动作,使同步组的状态由正常(normal)改为停顿(quiesced )  
用repadmin身份登录shenzhen数据库,运行以下命令  
SQL>execute dbms_repcat.suspend_master_activity (gname => 'scott_mg');  
②、在复制组scott_mg里加入数据库对象,保证数据库对象必须有主关键字。  
SQL>execute dbms_repcat.create_master_repobject(sname=>'scott',oname=>'emp', type=>'table',use_existing_object=>true,gname=>'scott_mg');  
对加入的数据库对象产生复制支持  
SQL>execute dbms_repcat.generate_replication_support('scott','emp','table');  
③、在复制组scott_mg里删除数据库对象。  
SQL>execute dbms_repcat.drop_master_repobject ('scott','dept','table');  
④、重新使同步组的状态由停顿(quiesced )改为正常(normal)。  
SQL> execute dbms_repcat.resume_master_activity('scott_mg',false);
作者资料:
复制,顾名思义就是将数据库中的数据拷贝到不同物理地点的数据库中。 在很多生产环境中,经常遇到一些大量得数据,这些数据只用作查询统计功能。例如:历史告警,历史性能指标,历史事件,等等。这种数据的特点是:只读不写,数据量相当大,一旦查询大结果集的数据时,对数据库的IO,内存缓存占用相当大,会严重影响同一个数据库的其他会话的操作,表现为整个数据库反应迟缓,业务功能不可用。采用复制技术后,将这些大型数据复制到另外一个数据库中,对这些大数据的查询统计操作放在另外的一台数据库服务器上进行,即使受影响,也只是影响局部的查询统计功能,其他正常的业务处理不受影响。 但是,使用复制技术的话,意味着一个系统中,至少存在两个数据库(集群的数据库也当成一个数据库),对应的应用程序也需要建立多个数据库连接,能够根据业务需要,访问不同的数据库ORACLE数据库自身提供有复制功能,只需要进行配置即可实现。 ORACLE提供有三种复制技术: 高级复制(Advanced Replication) 流复制(Streams Replication) 备库(Dataguard) 备库的方式,就是数据库数据库的备份方式,主要是解决容灾的,不讨论此话题。 流复制主要是利用ORACLE的归档日志,进行增量备份来实现的,不仅可以配置只复制某些表,还可以配置仅复制某些表上的ddl或dml。可以复制到表,用户,数据库级别。 高级复制主要是基于触发器的原理来触发数据同步的,因此,高级复制无法实现用户,数据库级别的对象复制,只能做些表、索引和存储过程的复制。 如果出于容灾整个数据库的考虑,高级复制相当复杂,而且并不一定能做好,流复制的配置相对简单。流复制是后来产生的复制技术,是基于日志挖掘技术实现的,对数据库的影响较低。但在稳定性方面较差,实时性没有高级复制强(因为高级复制是基于触发器的)。如果系统意外的话,流复制的恢复将会需要较长时间,特别是意外时间越长,恢复时间成倍增长。 下面使用相同的环境,分别对两种复制功能进行配置介绍,并进行性能压力测试比较。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值