数据库同步

数据库同步

转自cnoug  wanghai
=========================================
一、实现数据库复制的前提条件  
1、数据库支持高级复制功能  
您可以用system身份登录数据库,查看v$option视图,如果其中Advanced replication为TRUE,则支持高级复制功能;否则不支持。  
2、数据库初始化参数要求  
①、db_domain = test.com.cn  
指明数据库的域名(默认的是WORLD),这里可以用您公司的域名。  
②、global_names = true  
它要求数据库链接(database link)和被连接的数据库名称一致。  
现在全局数据库名:db_name+”.”+db_domain  
③、有跟数据库job执行有关的参数  
job_queue_processes = 1  
job_queue_interval = 60  
distributed_transactions = 10  
open_links = 4  
第一行定义SNP进程的启动个数为n。系统缺省值为0,正常定义范围为0~36,根据任务的多少,可以配置不同的数值。  
第二行定义系统每隔N秒唤醒该进程一次。系统缺省值为60秒,正常范围为1~3600秒。事实上,该进程执行完当前任务后,就进入睡眠状态,睡眠一段时间后,由系统的总控负责将其唤醒。  
如果修改了以上这几个参数,需要重新启动数据库以使参数生效。  
二、实现数据库同步复制的步骤  
假设在Internet上我们有两个数据库:一个叫深圳(shenzhen),一个叫北京(beijing)。  
具体配置见下表:  
数据库名 shenzhen beijing  
数据库域名 test.com.cn test.com.cn  
数据库sid号 shenzhen beijing  
Listener端口号 1521 1521  
服务器ip地址 10.1.1.100 10.1.1.200  
  
1、确认两台数据库之间可以互相访问,在tnsnames.ora里设置数据库连接字符串。  
①、例如:深圳这边的数据库连接字符串是以下的格式  
beijing =  
(DESCRIPTION =  
(ADDRESS_LIST =  
(ADDRESS = (PROTOCOL = TCP)(HOST = 10.1.1.200)(PORT = 1521))  
)  
(CONNECT_DATA =  
(SERVICE_NAME = beijing)  
)  
)  
运行$tnsping beijing  
出现以下提示符:  
Attempting to contact (ADDRESS=(PROTOCOL=TCP)(HOST=10.1.1.200)(PORT=1521))  
OK(n毫秒)  
表明深圳数据库可以访问北京数据库。  
②、在北京那边也同样配置,确认$tnsping shenzhen 是通的。  
2、改数据库全局名称,建公共的数据库链接。  
①、用system身份登录shenzhen数据库  
SQL>alter database rename global_name to shenzhen.test.com.cn;  
用system身份登录beijing数据库:  
SQL>alter database rename global_name to beijing.test.com.cn;  
②、用system身份登录shenzhen数据库  
SQL>create public database link beijing.test.com.cn using 'beijing';  
测试数据库全局名称和公共的数据库链接  
SQL>select * from global_name@beijing.test.com.cn;  
返回结果为beijing.test.com.cn就对了。  
用system身份登录beijing数据库:  
SQL>create public database link shenzhen.test.com.cn using 'shenzhen';  
测试数据库全局名称和公共的数据库链接  
SQL>select * from global_name@shenzhen.test.com.cn;  
返回结果为shenzhen.test.com.cn就对了。  
3、建立管理数据库复制的用户repadmin,并赋权。  
①、用system身份登录shenzhen数据库  
SQL>create user repadmin identified by repadmin default tablespace users temporary tablespace temp;  
SQL>execute dbms_defer_sys.register_propagator('repadmin');  
SQL>grant execute any procedure to repadmin;  
SQL>execute dbms_repcat_admin.grant_admin_any_repgroup('repadmin');  
SQL>grant comment any table to repadmin;  
SQL>grant lock any table to repadmin;  
②、同样用system身份登录beijing数据库,运行以上的命令,管理数据库复制的用户repadmin,并赋权。  
说明:repadmin用户名和密码可以根据用户的需求自由命名。  
4、在数据库复制的用户repadmin下创建私有的数据库链接。  
①、用repadmin身份登录shenzhen数据库  
SQL>create database link beijing.test.com.cn connect to repadmin identified by repadmin;  
测试这个私有的数据库链接:  
SQL>select * from global_name@beijing.test.com.cn;  
返回结果为beijing.test.com.cn就对了。  
②、用repadmin身份登录beijing数据库  
SQL>create database link shenzhen.test.com.cn connect to repadmin identified by repadmin;  
测试这个私有的数据库链接  
SQL>select * from global_name@shenzhen.test.com.cn;  
返回结果为shenzhen.test.com.cn就对了。  
5、创建或选择实现数据库复制的用户和对象,给用户赋权,数据库对象必须有主关键字。  
假设我们用ORACLE里举例用的scott用户,dept表。  
①、用internal身份登录shenzhen数据库,创建scott用户并赋权  
SQL>create user scott identified by tiger default tablespace users temporary tablespace temp;  
SQL>grant connect, resource to scott;  
SQL>grant execute on sys.dbms_defer to scott;  
②、用scott身份登录shenzhen数据库,创建表dept  
SQL>create table dept  
(deptno number(2) primary key,  
dname varchar2(14),  
loc varchar2(13) );  
③、如果数据库对象没有主关键字,可以运行以下SQL命令添加:  
SQL>alter table dept add (constraint dept_deptno_pk primary key (deptno));  
④、在shenzhen数据库scott用户下创建主关键字的序列号,范围避免和beijing的冲突。  
SQL> create sequence dept_no increment by 1 start with 1 maxvalue 44 cycle nocache;  
(说明:maxvalue 44可以根据应用程序及表结构主关键字定义的位数需要而定)  
⑤、在shenzhen数据库scott用户下插入初始化数据  
SQL>insert into dept values (dept_no.nextval,'accounting','new york');  
SQL>insert into dept values (dept_no.nextval,'research','dallas');  
SQL>commit;  
⑥、在beijing数据库那边同样运行以上①,②,③  
⑦、在beijing数据库scott用户下创建主关键字的序列号,范围避免和shenzhen的冲突。  
SQL> create sequence dept_no increment by 1 start with 45 maxvalue 99 cycle nocache;  
⑧、在beijing数据库scott用户下插入初始化数据  
SQL>insert into dept values (dept_no.nextval,'sales','chicago');  
SQL>insert into dept values (dept_no.nextval,'operations','boston');  
SQL>commit;  
6、创建要复制的组scott_mg,加入数据库对象,产生对象的复制支持  
①、用repadmin身份登录shenzhen数据库,创建主复制组scott_mg  
SQL> execute dbms_repcat.create_master_repgroup('scott_mg');  
说明:scott_mg组名可以根据用户的需求自由命名。  
②、在复制组scott_mg里加入数据库对象  
SQL>execute dbms_repcat.create_master_repobject(sname=>'scott',oname=>'dept', type=>'table',use_existing_object=>true,gname=>'scott_mg');  
参数说明:  
sname 实现数据库复制的用户名称  
oname 实现数据库复制的数据库对象名称  
(表名长度在27个字节内,程序包名长度在24个字节内)  
type 实现数据库复制的数据库对象类别  
(支持的类别:表,索引,同义词,触发器,视图,过程,函数,程序包,程序包体)  
use_existing_object true表示用主复制节点已经存在的数据库对象  
gname 主复制组名  
③、对数据库对象产生复制支持  
SQL>execute dbms_repcat.generate_replication_support('scott','dept','table');  
(说明:产生支持scott用户下dept表复制的数据库触发器和程序包)  
④、确认复制的组和对象已经加入数据库的数据字典  
SQL>select gname, master, status from dba_repgroup;  
SQL>select * from dba_repobject;  
7、创建主复制节点  
①、用repadmin身份登录shenzhen数据库,创建主复制节点  
SQL>execute dbms_repcat.add_master_database  
(gname=>'scott_mg',master=>'beijing.test.com.cn',use_existing_objects=>true, copy_rows=>false, propagation_mode => 'asynchronous');  
参数说明:  
gname 主复制组名  
master 加入主复制节点的另一个数据库  
use_existing_object true表示用主复制节点已经存在的数据库对象  
copy_rows false表示第一次开始复制时不用和主复制节点保持一致  
propagation_mode 异步地执行  
②、确认复制的任务队列已经加入数据库的数据字典  
SQL>select * from user_jobs;  
8、使同步组的状态由停顿(quiesced )改为正常(normal)  
①、用repadmin身份登录shenzhen数据库,运行以下命令  
SQL> execute dbms_repcat.resume_master_activity('scott_mg',false);  
②、确认同步组的状态为正常(normal)  
SQL> select gname, master, status from dba_repgroup;  
③、如果这个①命令不能使同步组的状态为正常(normal),可能有一些停顿的复制,运行以下命令再试试(建议在紧急的时候才用):  
SQL> execute dbms_repcat.resume_master_activity('scott_mg',true);  
9、创建复制数据库的时间表,我们假设用固定的时间表:10分钟复制一次。  
①、用repadmin身份登录shenzhen数据库,运行以下命令  
SQL>begin  
dbms_defer_sys.schedule_push (  
destination => 'beijing.test.com.cn',  
interval => 'sysdate + 10/1440',  
next_date => sysdate);  
end;  
/  
  
SQL>begin  
dbms_defer_sys.schedule_purge (  
next_date => sysdate,  
interval => 'sysdate + 10/1440',  
delay_seconds => 0,  
rollback_segment => '');  
end;  
/  
  
②、用repadmin身份登录beijing数据库,运行以下命令  
SQL>begin  
dbms_defer_sys.schedule_push (  
destination => ' shenzhen.test.com.cn ',  
interval => 'sysdate + 10 / 1440',  
next_date => sysdate);  
end;  
/  
  
SQL>begin  
dbms_defer_sys.schedule_purge (  
next_date => sysdate,  
interval => 'sysdate + 10/1440',  
delay_seconds => 0,  
rollback_segment => '');  
end;  
/  
10、添加或修改两边数据库的记录,跟踪复制过程  
如果你想立刻看到添加或修改后数据库的记录的变化,可以在两边repadmin用户下找到push的job_number,然后运行:  
SQL>exec dbms_job.run(job_number);  
三、异常情况的处理  
1、检查复制工作正常否,可以在repadmin 用户下查询user_jobs  
SQL>select job,this_date,next_date,what, broken from user_jobs;  
正常的状态有两种:  
任务闲——this_date为空,next_date为当前时间后的一个时间值  
任务忙——this_date不为空,next_date为当前时间后的一个时间值  
异常状态也有两种:  
任务死锁——next_date为当前时间前的一个时间值  
任务死锁——next_date为非常大的一个时间值,例如:4001-01-01  
这可能因为网络中断照成的死锁  
解除死锁的办法:  
$ps –ef|grep orale  
找到死锁的刷新快照的进程号ora_snp*,用kill –9 命令删除此进程  
然后进入repadmin 用户SQL>操作符下,运行命令:  
SQL>exec dbms_job.run(job_number);  
说明:job_number 为用select job,this_date,next_date,what from user_jobs;命令查出的job编号。  
2、增加或减少复制组的复制对象  
①、停止主数据库节点的复制动作,使同步组的状态由正常(normal)改为停顿(quiesced )  
用repadmin身份登录shenzhen数据库,运行以下命令  
SQL>execute dbms_repcat.suspend_master_activity (gname => 'scott_mg');  
②、在复制组scott_mg里加入数据库对象,保证数据库对象必须有主关键字。  
SQL>execute dbms_repcat.create_master_repobject(sname=>'scott',oname=>'emp', type=>'table',use_existing_object=>true,gname=>'scott_mg');  
对加入的数据库对象产生复制支持  
SQL>execute dbms_repcat.generate_replication_support('scott','emp','table');  
③、在复制组scott_mg里删除数据库对象。  
SQL>execute dbms_repcat.drop_master_repobject ('scott','dept','table');  
④、重新使同步组的状态由停顿(quiesced )改为正常(normal)。  
SQL> execute dbms_repcat.resume_master_activity('scott_mg',false);
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
复制,顾名思义就是将数据库中的数据拷贝到不同物理地点的数据库中。 在很多生产环境中,经常遇到一些大量得数据,这些数据只用作查询统计功能。例如:历史告警,历史性能指标,历史事件,等等。这种数据的特点是:只读不写,数据量相当大,一旦查询大结果集的数据时,对数据库的IO,内存缓存占用相当大,会严重影响同一个数据库的其他会话的操作,表现为整个数据库反应迟缓,业务功能不可用。采用复制技术后,将这些大型数据复制到另外一个数据库中,对这些大数据的查询统计操作放在另外的一台数据库服务器上进行,即使受影响,也只是影响局部的查询统计功能,其他正常的业务处理不受影响。 但是,使用复制技术的话,意味着一个系统中,至少存在两个数据库(集群的数据库也当成一个数据库),对应的应用程序也需要建立多个数据库连接,能够根据业务需要,访问不同的数据库。 ORACLE数据库自身提供有复制功能,只需要进行配置即可实现。 ORACLE提供有三种复制技术: 高级复制(Advanced Replication) 流复制(Streams Replication) 备库(Dataguard) 备库的方式,就是数据库数据库的备份方式,主要是解决容灾的,不讨论此话题。 流复制主要是利用ORACLE的归档日志,进行增量备份来实现的,不仅可以配置只复制某些表,还可以配置仅复制某些表上的ddl或dml。可以复制到表,用户,数据库级别。 高级复制主要是基于触发器的原理来触发数据同步的,因此,高级复制无法实现用户,数据库级别的对象复制,只能做些表、索引和存储过程的复制。 如果出于容灾整个数据库的考虑,高级复制相当复杂,而且并不一定能做好,流复制的配置相对简单。流复制是后来产生的复制技术,是基于日志挖掘技术实现的,对数据库的影响较低。但在稳定性方面较差,实时性没有高级复制强(因为高级复制是基于触发器的)。如果系统意外的话,流复制的恢复将会需要较长时间,特别是意外时间越长,恢复时间成倍增长。 下面使用相同的环境,分别对两种复制功能进行配置介绍,并进行性能压力测试比较。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值