DMHS Oracle到DM7实施手册
当源端oracle,日志存储在文件系统模式下面时,需要申请对应操作系统源端为oracle的dmhs版本。
目的端为DM7时,需要申请对应操作系统的执行端为dm7的dmhs版本
- 环境检查
1.1 源端环境检查
- 用户检查
- 运行用户
运行用户的要求,要求使用oracle用户或者和oracle同一组的用户,一般系统如果有oracle用户权限控制,则要求给出一个和oracle同组的用户。
检查用户属主
[dmhs@slb ~]$ id
uid=504(dmhs) gid=505(dmhs) 组=505(dmhs),503(oinstall)
dmhs用户和oracle属于同一组oinstall
检查dmhs的环境变量,需要配置有ORACLE_SID,ORACLE_HOME,以及LD_LIBRARY_PATH,如果是AXI还需要检查LIBPATH环境变量,查看方法有:
Env命令,如果有太多,可以使用echo $ORACLE_SID查看
[dmhs@slb ~]$ echo $ORACLE_SID
orcl
[dmhs@slb ~]$ echo $ORACLE_HOME
/u01/app/oracle/product/11.2.0/db_1
[dmhs@slb ~]$ echo $LD_LIBRARY_PATH
/opt/dmdbms/bin::/u01/app/oracle/product/11.2.0/db_1/lib:/usr/local/lib
- 连接用户
连接oracle(12c版本与之前版本有所区别见以下说明)数据库的用户,若没有dba权限,则至少需要以下权限(需要和dba说明):
grant connect to dmhs;
grant select any table to dmhs;
grant select any dictionary to dmhs;
grant create session to dmhs;
grant lock any table to dmhs;
grant execute on dbms_flashback to dmhs;
说明:oracle12c默认登陆到CDB数据库容器下,创建用户和之前的版本略有不同,所有用户前需要加上C##+用户名,如之前的版本用户名为dmhs,12c中创建用户名必须为C##dmhs。连接的用户不能仅授予dba的权限,必须要将sys下用到的所有表的权限一一授予连接用户:
grant all on sys.dmhs_ddl_sql to C##dmhs
grant all on sys.col$ to C##dmhs;
grant all on sys.cdef$ to C##dmhs;
grant all on sys.lobfrag$ to C##dmhs;
grant all on sys.obj$ to C##dmhs
grant all on sys.user$ to C##dmhs
- 归档日志的检查
源端必须开启归档,且建议开启在文件系统中,后面的配置参数需要调整,检查归档的方法。
检查归档方式:
sqlplus / as sysdba
SQL> archive log list;
Database log mode No Archive Mode
Automatic archival Enabled ----表示开启归档,且归档放在快速恢复区
Archive destination USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence 4862
Current log sequence 4864
如果没有开启归档,请联系甲方DBA,要求其开启归档,且对归档的要求需要和DBA明确提出(归档放置的目录,已经归档保留以及归档的处理方式(保留,移除还是删除),开启归档需要重启数据库,所以会中断业务(切记)
如果是需要自己开启归档,最好放置到文件系统环境中,下面示例将归档放置在/data/arch目录下,目录需要手工
Sqlplus / as sysdba
SQL>ALTER SYSTEM SET LOG_ARCHIVE_DEST_1='LOCATION=/data/arch' SCOPE=SPFILE;
SQL>Shutdown immediate;
SQL>startup mount;
SQL>alter database archivelog;
SQL>archive log list;---检查归档
SQL>alter database open;
如果没有sysdba权限,可以使用下面的sql语句检查是否开启归档
select LOG_MODE from v$database ;
结果为yes代表开启了归档,no代表没有开启归档
- 检查是否开启附加日志
查询语句
SELECT SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK, SUPPLEMENTAL_LOG_DATA_ALL from V$DATABASE;
查询结果均为yes表示已经开启最小附加日志以及主键附加日志
如果有结果为NO,执行一下两条语句:
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
- 检查字符集环境变量
如果是windows环境环境可以忽略(一般注册表会有字符集)
如果是linux环境,先查询一下oracle数据库的字符集
SQL> select userenv('language') from dual;
USERENV('LANGUAGE')
----------------------------------------------------
SIMPLIFIED CHINESE_CHINA.ZHS16GBK
与运行dmhs服务的用户的环境变量NLS_LANG是否一致,查看echo $NLS_LANG
echo $NLS_LANG
SIMPLIFIED CHINESE_CHINA.ZHS16GBK
如果该变量值为空或者与查询结果不一致,请将改变量设置为查询结果的值修改~/.bash_profile或者~/.profile(aix平台中),增加以下:
export NLS_LANG=SIMPLIFIED CHINESE_CHINA.ZHS16GBK
5)归档日志的校验
在启动dmhs服务前,如果有权限最好先校验一下归档日志是否有效,(物理上删除,逻辑上存在)使用一下命名:
su – oracle
rman target /
crosscheck archivelog all;
如果有校验失败的日志文件,则使用以下方法解决
delete noprompt expired archivelog all;
搭建前如果想要删掉所有的归档日志可以使用以下语句:
delete noprompt archivelog all completed before ‘sysdate’;
6)源端数据库是否通过HA管理
源端数据库是否通过HA管理,请咨询现场数据库DBA或实施人员。如果源端数据库是通过HA进行管理的,则配置DMHS的时候需要将整个DMHS部署到HA管理的阵列上或者将DMHS配置<DICT_DIR>中字典存放目录指定为HA管理阵列。
1.2 目的端环境检查
安装好DM7数据库后,需要检查一下PATH以及LD_LIBRARY_PATH是否设置了DM7安装路径
echo $LD_LIBRARY_PATH
/opt/dmdbms/bin
如果是AIX平台检查LIBPATH环境变量;
echo $LIBPATH
window环境需要检查环境变量PATH
- DMHS软件的安装
源端使用1中说明的运行用户安装DMHS软件。
Linux下面执行:./dmhs_linux.x86_64_V2.0.1.bin 如果没有图形化界面,则后面加上-i选项
Windows下面双击./dmhs_linux.x86_64_V2.0.1.exe既可。
安装完后可以使用 ls –la 查看一下安装的文件的属主信息
- 配置DMHS
- 源端配置
源端配置参看配置模板中dmhs(oracle FS cpt).xml
如果源端oracle的字符集为AMERICAN_AMERICA.AL32UTF8
则需要将char_code配置项修改为PG_UTF8
<char_code>PG_UTF8</char_code>
如果需要配置DDL同步,请使用SYSDBA执行安装环境中script脚本下的dmhs.sql脚本
Sqlplus / as sysdba
@dmhs.sql
并指定ddl_mask的值为:TABLE:INDEX:TRUNCATE:CREATE:DROP:ALTER:SEQUENCE
映射规则和过滤规则请注意大小写区分
注意:如果在同步过程中增加DDL同步,建立DDL同步脚本后,源端需要重新装载字典。
- 目的端配置
目的端配置参照配置模板中的dmhs(dm7 exec).xml
其中执行线程数根据系统cpu内核数来确定,exec_sql要根据系统内存做相应的调整,
- 启动DMHS服务
- 启动目的端dmhs服务
目的端dmhs服务可以在dmhs_server启动界面输入start exec启动,也可以通过dmhs_console工具控制启动。
使用dmhs_console工具启动方法如下:
cd dmhs安装目录
启动dmhs_console
./dmhs_console
连接到目的端端服务器 格式 connect 目的端IP:目的端管理端口号
Connect 127.0.0.1:5345
Start exec
既可启动目的端dmhs服务
如果要停止目的端服务,可以使用stop命令
2. 启动源端dmhs服务
如果没有执行初始装载,在启动源端dmhs服务之前必须先使用copy或者load命令将源端的字典进行初始化。可以在dmhs_server界面输入,也可以通过dmhs_console控制台进行输入。
使用控制台方法如下:
cd dmhs安装目录
启动dmhs_console
./dmhs_console
连接到源端服务器 格式 connect 源端IP:源端管理端口号
Connect 127.0.0.1:5345
Copy 0 “sch.name=’DMHS’” dict
Sch.name中输入要同步的模式列表,或者加上tab.name 控制要同步的表名
初始化字典完成后,启动分析端服务,使用以下命令
Start cpt
如果没有配置ddl同步,此处会有一个警告信息,如果确实没有ddl需要同步,可以忽略改警告。
- 初始装载
当源端业务不能停止,但是有需要将源端的表数据迁移到目的数据库,此时可以使用dmhs的初始装载。启动初始装载的时候源端捕获进程必须停止,只启动dmhs管理进程。停止cpt的命令为
Stop cpt
如果源端只部署了cpt,没有exec也可以使用stop命令停止
使用初始化装载命令
Copy 0 “sch.name=***” create|insert|thread|4
多线程并发装载
如果要开启快速装载可以增加fast掩码。
具体的掩码意义参考用户手册。