SymmetricDS安装记录

原创 2014年12月04日 13:44:31

本安装记录基于SymmetricDS Quick Start Guide中的样例,安装在两个机器上。

安装环境

Machine1:hadoop3.highgo.com

Machine2:hadoop4.highgo.com

安装SymmetricDS

1.      下载SymmetricDS服务器程序,当前是Symmetric-3.6.14,下载Symmetric-3.6.14-server.zip文件。解压到两台机器的/opt/目录下,更改SymmetricDS根目录拥有者为highgo。

2.      Hadoop4.highgo.com作为root端,负责corp数据库,hadoop3.highgo.com作为store端,负责store001数据库。在hadoop4端,将SymmetricDS安装副本根目录下的samples目录下的corp-000.properties文件复制到engines目录下,在hadoop3端,将SymmetricDS安装副本根目录下的samples目录下的store-001.properties文件复制到engines目录下。修改两个配置文件的数据库信息,我的配置如下:

db.driver=org.postgresql.Driver
db.url=jdbc:postgresql://hadoop3/4.highgo.com/store001
db.user=highgo
db.password=highgo

3.      Store端的配置文件需要配置registration.url

registration.url=http://hadoop4.highgo.com:8080/sync/corp-000

SymmetricDS层面上的主从关系,也就是这么来的,真正运行起来,SymmetricDS就跟它的名字一样Symmetric,各个节点是对等的。

安装数据库、创建业务表、导入初始数据、创建系统表

1.      分别在两台机器上安装了一个PostgreSQL数据库实例,分别创建数据库用户highgo,密码为highgo。在hadoop3.highgo.com 上创建store001数据库,owner为highgo,在hadoop4.highgo.com上创建corp数据库,owner为highgo。

2.      在hadoop4端的SymmetricDS安装副本的samples目录下执行下面的命令:

../bin/dbimport --engine corp-000 --format XMLcreate_sample.xml

这是文档上的做法,不过执行上边的命令后,报错,找不到create_sample.xml这个文件。于是打开这个文件发现就是几张表的定义,是以xml这种通用的格式定义的。一共四张表item,item_selling_price,sale_transaction,sale_return_line_item。索性根据xml文件中的描述,直接写SQL语句,写成的SQL语句如下:

createtable item(
item_id INTEGER PRIMARY KEY,
name VARCHAR(100)
)
 
createtable item_selling_price(
item_id INTEGER REFERENCES item(item_id),
store_idVARCHAR(5),
priceDECIMAL(10,2),
costDECIMAL(10,2),
PRIMARYKEY(item_id,store_id)
)
 
createtable sale_transaction(
tran_id INTEGER PRIMARY KEY,
  store_id VARCHAR(5) NOT NULL,
workstation VARCHAR(3) NOT NULL,
day VARCHAR(10) NOT NULL,
seq INTEGER NOT NULL
)
 
createtable sale_return_line_item(
tran_id INTEGER PRIMARY KEY REFERENCES sale_transaction(tran_id),
item_id INTEGER NOT NULL REFERENCES item(item_id),
price DECIMAL(10,2) NOT NULL,
quantity INTEGER NOT NULL,
returned_quantity INTEGER
)

这四个表是我们这个分销业务的例子的业务表。

3.      还是在hadoop4端,执行下面的命令:

../bin/symadmin --engine corp-000create-sym-tables

这个命令是创建SymmetricDS的系统表,这个执行成功,没有报错什么的。

4.      还是在hadoop4端,执行下面的命令:

../bin/dbimport --engine corp-000insert_sample.sql

Insert_sample.sql文件主要分两部分,一个是往业务表里插入样例数据,另一部分是往SymmetricDS的系统表里插入本样例的系统数据。首先创建了两个节点,然后创建了两个channel,又创建了6个trigger,接着创建了3个Router,最后创建了6个Trigger-Router Links,这里所谓的创建,其实就是往系统表里插入创建的信息而已。

顺便说下,这条命令执行的时候,也是报错,找不到insert_sample.sql文件,我是打开这个文件,一部分一部分,在PostgreSQL的命令行执行的。估计执行整个文件也可以。

5.      在hadoop3端,进入到store001的SymmetricDS安装副本的根目录下的samples目录,执行下面的命令:

../bin/dbimport --engine store-001 --format XMLcreate_sample.xml

这条命令跟第二条在hadoop4端执行的目的是一样的,都是创建本样例的业务表。当然了,执行也是报错的,找不到文件,将上边的SQL语句,在这在执行一遍就可以了。

启动SymmetricDS

1.      在hadoop4端,也就是root端,corp端,在SymmetricDS安装副本的根目录下的samples目录下执行下面的命令:

../bin/sym --engine corp-000 --port 8080

这个过程会根据之前的配置文件和在SymmetricDS系统表中插入的数据,创建必要的Trigger等等的组件。然后等待其他节点的注册。

2.      在hadoop3端,也就是client端,store端在SymmetricDS安装副本的根目录下的samples目录下执行下面的命令:

../bin/sym --engine store-001 --port 8080

这条命令,启动hadoop3上的SymmetricDS程序。并根据配置信息尝试连接root节点。当然,由于这时候,root端的注册还没开启,这时候,在root端可以收到hadoop3上的SymmetricDS的注册请求,但是认证会失败。

注册节点

在hadoop4上的SymmetricDS安装副本的根目录下的samples目录下执行下面的命令:

../bin/symadmin --engine corp-000open-registration store 001

为store 001 开启注册,这时候就能看到注册成功的信息了。为了方便,可以先把两台机器的防火墙先关闭。

发起初始负载

开始我们在hadoop4端的数据库的业务表上插入了几条数据,但是hadoop3上的数据库的业务表都是空的。既然要同步,那我们必须先把这一部分的数据同步,这一部分数据的同步就叫做同步初始负载。要发起这个初始负载同步,要执行下面的命令,还是在hadoop3的SymmetricDS安装副本的samples目录下执行:

../bin/symadmin --engine corp-000reload-node 001

推送数据

从上边的insert_sample.sql文件中往SymmetricDS系统表中插入的数据可以知道,item表和item_selling_price表的同步配置是从corp端(hadoop4)到store端(hadoop3),单向的,也就是说,我们从corp端插入一条数据,数据会被推送到store端,而我们从store端增加一条数据,则不会影响到corp端的数据。

下面我们在corp端的数据库中插入两条数据:

insert into "item" ("item_id","name") values (110000055, 'Soft Drink');
insert into"item_selling_price" ("item_id", "store_id","price") values (110000055, '001', 0.65); insert into "item_selling_price"("item_id", "store_id", "price") values(110000055, '002', 1.00);

在hadoop4端执行完这两条插入语句后,在hadoop3端的数据查看一下,数据应该已经同步了。

拉取数据

从上边的insert_sample.sql文件中往SymmetricDS系统表中插入的数据可以知道,sale_transaction表和sale_return_line_item表的同步配置是从store端(hadoop3)同步到corp端(hadoop4),单向的,也就是说,我们从store端(hadoop3)增加一条数据,数据会被推送到corp端(hadoop4),而从corp端(hadoop4)增加一条数据,则不会影响到store端(hadoop3)的数据。

下面我们在store端的数据库中插入两条数据:

insert into "sale_transaction" ("tran_id","store_id", "workstation", "day","seq") values (1000, '001', '3', '2007-11-01', 100);
insert into"sale_return_line_item" ("tran_id", "item_id","price", "quantity") values (1000, 110000055, 0.65, 1);

在hadoop3端执行完这两条插入语句后,在hadoop4端的数据库查看一下,数据应该已经同步了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

数据库同步——SymmetricDS快速入门指南

SymmetricDS,利用数据库的触发器捕捉数据库变化来实现数据库同步,可以有两个节点或多个节点,可实现同服务器不同数据库同步或不同服务器数据库同步。基本模型如图所示。图中有一个主节点001和两个节...

SymmetricDS文档翻译--【Chapter 0.SymmetricDS快速入门指南( Quick Start Guide)】

本文档是SymmetricDS3.6.14文档的第一章节Quick Start Guide文档的翻译,的目的是帮助读者快速搭建一个SymmetricDS集群并普及一些基本概念术语。   本文档描述了如...

SymmetricDS配置Initial Load的步骤

Trigger中有一种Dead Trigger,用法较多,可以参考其定义,其中一个就是恢复单向同步的表的初始负载。也就是说要发起一次初始负载,就是要创建一个Dead Trigger。 1.     ...

SymmetricDS 完全配置安装手册

SymmetricDS 是一个基于 Java 的数据库同步框架。本文并不打算带你熟悉 SymmetricDS 的实现原理,只是从安装与配置入手,让你感受一下 SymmetricDS 运行效果。本文希望...

SymmetricDS同步一个表的步骤

1. 创建一个channel insert into sym_channel (channel_id, processing_order, max_batch_size, enabled, desc...

SymmetricDS文档翻译--【Chapter 2. 配置(Setup)】

2.1. Engine Files 每一个节点都需要配置一些属性,以使该节点连接到一个数据库和注册到一个父节点。这些属性在一个名叫xxxx.properties的文件中定义,这个文件放在Symmet...

SymmetricDS文档翻译--【Chapter 1. 简介(Introduction)】

本用户指南将简要介绍SymmetricDS配置中基础的和高级的概念。读完本指南,你将对SymmetricDS的能力和其中的概念有一个更好的理解。 1.1.   System Requirements ...

SymmetricDS文档翻译--【Chapter 3. 详细配置(Configuration)[section C]】

3.6. Routers 目前的实现中提供的Route实现包含: 1.      Default Router:这个Router发送所有的数据到Router中定义的目标节点所属的组中的所有的节点。 2...

SymmetricDS重新注册一个节点的操作步骤

在测试Initial Load的时候,需要观察节点刚注册之后发生的Initial Load过程。经过测试,发现注册一个节点的过程大体是这样的,这里以手工注册为例,假设B节点是Registration ...

SymmetricDS文档翻译--【Chapter 3. 详细配置(Configuration)[section D]】

1.6.     Conflicts 3.7.1. Conflict Detection andResolution 冲突的检测和解决是SymmetricDS 3.0的新特性。冲突检测是决定是否插入,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)