沃信科技有限公司 | |
地址: | 深圳市南山区深南大道海岸时代902# 邮编:518000 |
网址: | |
客户服务邮箱: | |
客户服务电话: | 0755-86934803 |
客户服务传真: | 0755-86934803 |
|
|
|
|
前 言
修改记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新内容。
本手册适用于使用sota系统的系统管理员,推广人员,系统操作员,帮助他们更好理解和使用sota系统。
需要了解的相关知识
1. Linux操作系统
2. Oracle数据库
名称 | 格式 | 意义 |
按钮约定 | 按钮以加双引号的黑体表示 | 按钮包括键盘上的按钮、程序界面上的按钮和菜单中的选项,如键盘上的“Enter”,界面中的“确定”,“执行器”。 |
字体格式约定 | 文章中加黑的字体 | 表示该段文字比较重要:。引用的文字用“双引号”表示 |
文字中的双引号 | 引用的文字用“双引号”表示 | |
鼠标约定 | 单击 | 表示快速地按一下鼠标左键或右键(缺省为左键) |
双击 | 表示快速连续地按二下按两下鼠标左键 | |
右击 | 表示快速地按一下鼠标右键 | |
拖放 | 表示按住鼠标左键不放并把它拉到某一位置。 | |
符号约定 |
| 备注说明 |
| 声明 |
第一次正式发布。
如果您在使用本手册或者系统应用过程中有任何意见和建议,欢迎提出,我们会努力提高产品和服务质量,我们衷心感谢各位用户对我们工作上支持!
1 目 录
目录
5.2.1 设置作业列表基本信息 –JobList.xml 5-6
5.2.2 配置作业oSucker组件信息 – E_Config.xml 5-6
5.2.3 配置Filter.xml信息 – Filter.xml 5-7
5.2.4 配置作业oParser 组件信息 – P_Config.xml 5-9
5.2.5 配置作业oLoader组件信息 –L_Config_**.xml 5-9
5.2.6 配置作业装载组件信息 – JobLoadFilter.xml 5-10
2 产品介绍
沃信T3数据库容灾软件是一款基于数据库日志技术的数据库数据同步复制软件,SOTA是其针对ORACLE数据库的同步程序模块。
2.1 功能介绍
· 支持各版本ORACLE数据库
· 支持各种LINUX32/64位操作系统
· 不停机初始化工具能够保证业务系统不停机的情况下快速进行
· 通过对日志文件读取,保证数据库交易的准确提取
· 完善的提取、分析、装载机制,保证数据在各环节的安全可靠
· 支持独立安装,保证对主机、备机的资源占用最小化,CPU不超过10%,内存不超过256M
· 模块化设计,多线程运行,保证数据库最快同步。
· 客户端支持WINDOWS98/2K/XP/2003,有独立的登陆校验机制。
· 增量日志传输能够保证数据在网络带宽很差的情况下达到实时同步
· 断点续传能保证数据在网络状况很不稳定的情况下达到实时同步,即使是卫星带宽
2.2 典型应用
· ERP系统容灾
· OA 系统容灾
· BOSS 系统容灾
2.3 Sota系统构架
Bus :总线模块
Planner :作业管理和调度模块
Sucker :日志抽取模块
Parser : 交易分析模块
Loader : 交易装载模块
沃信数据同步工具不需要在生产系统和备份系统上安装任何程序,只需要一个具有操作相应数据权限的数据库连接即可正常工作,不会影响生产系统和备份系统的可用性,只与生产系统和备份系统保留必须的交互,对生产系统的性能影响也非常小。
沃信数据同步工具的抽取组件从源数据库的联机日志(Online Log)和归档日志(Archive Log)中捕获数据库日志(Redo Log)记录,再通过分析组件对获取的Redo Log进行分析,获取完整的交易记录和针对每个数据库表操作的SQL语句,然后通过装载组件在目标数据库中执行该SQL语句,同步数据库变更。
2.3.1 oBus
oBus是用于存取数据,把数据信息在各个模块里进行交换,减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心,其他各个模块在它的周围,它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件,它使用默认的配置文件,使用默认的端口号为6379。
2.3.2 Planner
Planner对应的模块名称为oPlanner.
oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。
oPlanner的作用:
· 管理作业
· 控制license
· 控制组件
· 调度组件
管理作业包括创建作业,更改作业,删除作业,启动作业,关闭作业。
2.3.3 Sucker
oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容,包含DDL和DML的日志。
2.3.4 Parser
oParser 组件是分析数据程序,它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析,分析后的数据操作再分成两部分:提交事务和未提交事务。
提交的事务经分析程序后保存到相对应表的索引文件中。
2.3.5 Loader
oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。
2.4 目录说明
2.4.1 Sota目录
目录 | 文件名 | 文件说明 |
sota/bin | oSucker oParser oLoader oPlanner oLic sotaCC | oSucker是sota系统的抽取数据日志程序 oParser是sota系统的分析数据程序 oLoader是数据装载同步迁移程序 oPlanner是管理和调度oSucker/oParser/Loader的程序,oLic是使用sota系统的认证程序 sotaCC是字符界面管理sota系统程序 |
sota/conf | oPlanner.cfg
License.dat | oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。 License.dat文件无须配置是运行oLic程序后自动产生,决定使用者使用该SOTA系统的程度和时间。 |
sota/lib | ReadMe | 说明文件 |
sota/run | JobList.xml
JobLoadFilter.xml | JobList.xml 文件是关于作业信息的文件,在该文件中可以通过添加作业名来实现创建作业,删除作业名来实现删除作业操作,更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。 |
sota/log | oPlanner.log
oPlanner.log.old | 各有5M的空间用来存放运行程序日志文件,当oPlanner.log存满了之后,就将oPlanner.log的内容转到oPlanner.log.old中,继续存放新文件。 |
2.4.2 sotaData目录
sotaData文件可以供用户放多个作业(SOTA将数据从源库同步到目的库的过程抽象为一个作业),用来动态的存放数据文件。将它指向其他的磁盘阵列时 ,它可以不消耗本地资源。
目录 | 文件名 | 文件说明 |
sotaData/作业名/batData |
|
|
sotaData/作业名/conf | E_Config.xml Filter.xml P_Config.xml L_Config_**.xml | 存放作业的相关配置信息 |
sotaData/作业名/err |
| 存放的是出错误或着装载失败的信息 |
sotaData/作业名/idxData |
| 存放Tabsum的信息 |
sotaData/作业名/log |
| 存放oSucker/oParser/Loader运行的日志信息 |
sotaData/作业名/metaData |
| 存放表结构信息 |
sotaData/作业名/rowData |
|
|
sotaData/作业名/run |
| 存放运行之中产生的文件(如断点信息等) |
sotaData/作业名/txnData |
| 存放tabLoad_XX(备库)的信息 |
3 软硬件需求
3.1 硬件需求
如下:
设备 | 说明 |
CPU | 2个以上 |
内存 | 1G以上 |
硬盘 | 两个以上,有阵列更好。每个磁盘40G以上 |
网卡 | 10M以上 |
3.2 软件需求
如下:
软件 | 说明 | ||
操作系统 | Ubuntu (版本应为10.0.0.4及以上) | ||
编译器 | RPG、CL、SQL编译环境 | ||
FTP CLIENT | 跟随相应操作系统的版本 | ||
REXEC CLIENT | 跟随相应操作系统的版本 | ||
ssl共享库文件 | libssl0.9.8,ssllib0.9.8-dbg | ||
Linux硬件检测文件 | dmidecode | ||
Oracle | 需安装有Oracle服务器或客户端,可为8i、9i、10g、11g任意版本 |
4 系统安装
4.1 空间准备
Sota所需要的空间:sota程序大小加上日志文件的大小,推荐至少60M以上磁盘空间。
sotaData所需的空间:按照作业量分配大小,为作业INIT数据加上日志增量,如:每天产生数据200M,运行一年,则磁盘大小至少200*365M
4.2 环境准备
4.2.1 检查源库和备库的TNS信息
1.找到存放tnsnames.ora的路径 | ****/network/admin/tnsnames.ora |
2.编辑更改tnsnames.ora文件 | EBS = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.8.88)(PORT = 10010)) <!----描述配置客户端信息, PROTOCOL是协议,HOST主机IP地址,PORT端口号—oracle 默认1521,EBS系统server端设置的是10010,端口号必须与服务端设置相同-------> <!----客户端名由用户自定义命名-----> (CONNECT_DATA = (SERVER = DEDICATED) <!----连接模式: DEDICATED专用服务器连接, shared共享服务器连接----> (SERVICE_NAME = PORCLI) <!---服务端数据库名字-----必须是安装数据库起的名字一致> ) ) |
PING 192.168.8.8 (192.168.8.8) 56(84) bytes of data.
64 bytes from 192.168.8.8: icmp_req=1 ttl=64 time=44.9 ms
64 bytes from 192.168.8.8: icmp_req=2 ttl=64 time=44.9 ms
64 bytes from 192.168.8.8: icmp_req=3 ttl=64 time=43.0 ms
则连通,否则未连通。
4.2.3 检查SQLPLUS程序是否存在
查看是否有sqlplus,并且能连接数据库。用“which sqlplus”命令显示:
/.../sqlplus ,则有sqlplus。
4.2.4 检测源库和备库是否可以连接
然后用“tnsping odb10g ”或者“sqlplus scott/tiger@odb10g”得到结果:
SQL*Plus: Release 10.2.0.1.0 - Production on Thu Mar 21 17:03:04 2013
Copyright (c) 1982, 2005, Oracle. All rights reserved.
Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, OLAP and Data Mining options
则连上数据库,反之,则没连上。
4.2.5 检查SOTA需要的SSL共享库
在终端中输入“locate libcrypt | grep crypt.so”查看ssl库是否在。
例如,”locate libcrypt | grep crypt.so”,返回结果:
/home/buddi/ora10g_l/lib/stubs/libcrypt.so
/home/buddi/ora10g_l/lib/stubs/libcrypt.so.1
/lib/i386-linux-gnu/libcrypt.so.1
/usr/lib/i386-linux-gnu/libcrypt.so
则存在,反之则不存在。
4.2.6 检查是否有dmidecode文件
查看是否有dmidecode.用“whereis dmidecode”查看返回结果dmidecode: /usr/sbin/dmidecode/usr/share/man/man8/dmidecode.8.gz.则有该文件,反之,则无。
4.3 目录规划
sota不能安装在/home目录下。
强烈建议在root的opt目录下放 sota文件夹与sotadata文件夹。
sota文件夹:/opt/sota
sotaData文件夹及子目录如下:/opt/sotaData/作业名/,并在其下依次建立9个文件夹:batData,conf,err,idxData,log,metaData,rowData,run,txnData.
4.4 sota安装
安装过程应在Oracle安装用户下进行,参照目录规划的内容,将sota与sotaData复制到该目录下。如打包文件名为
sota2.2.tar.gz.命令如下:
cd /opt
cp sota2.2.tar.gz .
tar zxvf sota2.2.tar.gz //解压sata2.2
mkdir sotaData
cd /sotaData
mkdir 作业名
cd /作业名
mkdir batData
… //重复”mkdir ***”创建目录规划的9文件夹。
完成后如下图所示:
注:初次安装者可直接将sotaData目录下example改为作业名。
4.5 安装配置
为了能够顺利进行安装验证,必须配置oplanner的Config文件。
启动oBus之前不需要配置任何文件,但启动oPlanner则不一样,它有Config文件。在启动前要配置好所需的Config文件,另外还需要License.dat和JobList.xml。为什么还要这两个文件呢?License.dat文件包含了名字,使用SOTA系统的开始时间,有效使用期限和KEY这些内容,根据有效使用期限和使用的开始时间来决定使用者能使用哪些模块。JobList.xml文件是用来配置作业名,作业的个数,源数据库和目标数据库的情况,有了作业的相关信息才能决定组件的情况。JobLoadFilter.xml文件有用来配置的作业名。
OPlanner配置这四个文件的顺序是:oPlanner.cfg-->License.dat -->JobList.xml-->jobloadFilter.xml。oPlanner的运行必须需要这四个文件,这四个文件是相辅相成,缺一不可。
4.5.1 配置oPlanner.cfg文件
oPlanner.cfg文件是oPlanner的Config文件,主要是设置oPlanner的工作路径/ip地址和端口号。图oPlanner.cfg_1是对oPlanner.cfg文件的解释。oPlanner工作路径根据实际情况而定,这里的工作路径以/opt/sotaData 为例来配置oPlanner.cfg文件请参考图oPlanner.cfg_2。
oPlanner.cfg文件内容 | 变量描述 | 变量类型 | 变量值 |
ip | ip地址 | 字符类型 | 127.0.0.1 |
port | 端口号 | 数值类型 | 6379 |
jobDir | oPlanner工作路径 | 字符类型 | 视实际情况而定 |
图oPlanner.cfg_1
oPlanner.cfg所在目录 | ./sota/conf |
Ip=127.0.0.1 <!-- 设置IP地址 --> port=6379 <!-- 设置端口号 --> jobDir=/opt/sotaData <!-- 工作路径必须填写,否则Oplanner无法运行 --> |
图oPlanner.cfg_2
4.5.2 license.dat详解
License.dat文件无须配置是运行oLic程序后自动产生,包含了名字,使用SOTA系统的开始时间,有效使用期限和KEY这些内容。决定了使用者使用该SOTA系统的程度 ,根据有效使用期限和使用的开始时间来决定使用者能使用哪些模块。普通用户使用该SOTA系统默认有效期为1个月,这段期间可以使用SOTA的全部功能,逾期后将不再拥有数据迁移的权限。
注意:第一次使用SOTA系统,要使用SOTACC程序运行start OPlanner产生相应的license.dat文件(备注:每个安装SOTA系统的主机都有相对的license.dat文件,license.dat文件根据安装SOTA系统的主机的主板及网卡等信息来产生key)。
4.6 安装验证
• 检查哪些文件存在并且有执行权限,命令:
cd /opt/sota
ll
cd /opt/sotaData
ll
• 命令行启动oBusSvr测试,命令:
cd /opt/sota/bin
./oBusSvr
另开启新终端,命令:
ps -ef | grep oBusSvr
查看oBus进程是否存在,若存在,则成功,反之,则失败。
• 命令行启动oPlanner测试,oBus启动后才能启动oPlanner,命令:
cd /opt/sota/bin
./oPlanner
另开启新终端,命令:
ps -ef | grep oPlanner
查看oPlanner进程是否存在,若存在,则成功,反之,则失败。