Databus for Oracle

最新推荐文章于 2021-05-24 18:02:04 发布
最新推荐文章于 2021-05-24 18:02:04 发布
阅读量3.3k 收藏 8
点赞数
分类专栏： Oracle 文章标签： databus Oracle 数据同步 linked-in database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuyeshennai/article/details/91992802
版权

Databus组成

Relay ：数据抓取端

  • 读取数据源变更行（ROW），并将变更行数据序列化到内存缓冲区。
  • 监听客户端请求并传输缓冲区的数据。

Client：数据客户端

  • 检查Relay端的数据变更，并同步数据。
  • 如果与Relay之间数据变更相差太大、会执行追溯功能。

注：单个客户端既可以处理全部Databus数据流，也可以作为集群的一部分处理一小部分数据流。

bootstrap-producer：追溯数据生产端

  1. 这是一个特殊客户端，用于将Relay上的变更数据存储到Mysql数据库。
  2. Mysql数据库用于追溯数据。

bootstrap-server：追溯数据服务端

  1. 监听Client端执行追溯的功能请求。

databus-example for Oracle

这里记录运行databus自带的person的example的过程。

  1. 首先准备Oracle环境，这里我安装的oracle-xe 11g 。管理员密码orale，sid：XE，端口1521。
  2. databus是用gradle构建的java应用，所以本地首先需要安装gradle环境和java环境。gradle版本>=1.8即可。java版本>=1.6即可。
  3. 在github上下载databus源代码，解压解压好目录是databus-master。
  4. 在oracle官网下载ojdbc6.jar重命名放到如下目录：
databus-master/sandbox-repo/com/oracle/ojdbc6/11.2.0.2.0/ojdbc6-11.2.0.2.0.jar

其实做好如上操作即可开始编译了，databus wiki是这么介绍了，不过看有人编译会指定utf-8编码，其实不需要，因为这里不涉及中文。

  1. 关于gradle版本，如果本地的gradle环境是5以前的，那么无所谓，如果是gradle5需要更改build.gradle文件。
task wrapper(type: Wrapper) {
    gradleVersion = '1.8'
}

改为如下，否则编译的时候会报错：Cannot add task ‘wrapper’ as a task with that name already exists

wrapper {
    gradleVersion = '1.8'
}

我本次编译使用版本是gradle5.1（试了最新的5.4.1编译太慢直接放弃了）

  1. 在com.linkedin.databus2.core.container.netty.ServerContainer的initializeContainerJmx()方法中添加如下内容。这里如果不更改在运行relay的时候会产生Cannot bind to URL rmi://localhost:1099 ServiceUnavailableException错误。
LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort());

最后完整结果：

  protected void initializeContainerJmx()
  {
    if (_containerStaticConfig.getJmx().isRmiEnabled())
    {
      try
      {
        JMXServiceURL jmxServiceUrl =
            new JMXServiceURL("service:jmx:rmi://" +
                              _containerStaticConfig.getJmx().getJmxServiceHost() + ":" +
                              _containerStaticConfig.getJmx().getJmxServicePort() +"/jndi/rmi://" +
                              _containerStaticConfig.getJmx().getRmiRegistryHost() + ":" +
                              _containerStaticConfig.getJmx().getRmiRegistryPort() + "/jmxrmi" +
                              _containerStaticConfig.getJmx().getJmxServicePort());
        LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort())
        _jmxConnServer = JMXConnectorServerFactory.newJMXConnectorServer(jmxServiceUrl, null,
                                                                         getMbeanServer());
      }
      catch (Exception e)
      {
        LOG.warn("Unable to instantiate JMX server", e);
      }
    }
  }

注意首行导包：import java.rmi.registry.LocateRegistry;

  1. 修改reateUser在第51行
 sqlplus sys/oracle\@${DBNAME} as sysdba << __EOF__

这里我改为sys/oracle ，这是我的Oracle数据源的sysdba用户名密码。

  1. 修改sources-person.json,更改第4行，改为我们要连接的数据源信息。这里如果写错了那么运行clien的时候会报数据库连接错误。
{
    "name" : "person",
    "id"  : 1,
    "uri" : "jdbc:oracle:thin:person/person@localhost:1521:XE",
        "slowSourceQueryThreshold" : 2000,
        "sources" :
        [
                {"id" : 101,
                 "name" : "com.linkedin.events.example.person.Person",
                 "uri": "person.person",
                 "partitionFunction" : "constant:1"
                }
        ]
}

以上都操作好了即可编译了：

gradle -Dopen_source=true assemble

java是向下兼容的，我用的jdk8，编译的时候只是会警告有些方法过期而已，是可以成功编译的。
编译好了会在build文件夹下生成很多编译后的文件。

在运行实例之前先要执行数据库脚本以及生成avro序列化文件

  1. 运行createUser
 sh ./db/oracle/bin/createUser.sh person person xe tbs_person /u01/app/oracle/oradata/XE/person/
  1. 运行createSchema
cd ./db/oracle/fwk
sh /home/databus-master/db/oracle/bin/createSchema.sh person/person@xe /home/databus-master/databus2-example/database/person/
  1. 生成avro序列化文件
cd /home/databus-master/build/databus2-cmdline-tools-pkg/distributions
tar -zxvf databus2-cmdline-tools-pkg-2.0.0.tar.gz
cd bin
sh dbus2-avro-schema-gen.sh -namespace com.linkedin.events.example.person -recordName Person -viewName "sy\$person" -avroOutDir /home/databus-master/myperson-avro/avroOut -avroOutVersion 1 -javaOutDir /home/databus-master/myperson-avro/javaOut -userName person -password person -database jdbc:oracle:thin:@localhost:1521:xe

接下即可运行测试了。

  1. 运行relay
tar -zxvf build/databus2-example-relay-pkg/distributions/databus2-example-relay-pkg-2.0.0.tar.gz
sh start-example-relay.sh person
  1. 运行client
tar -zxvf build/databus2-example-client-pkg/distributions/databus2-example-client-pkg-2.0.0.tar.gz
sh start-example-client.sh person
  1. 开始测试，登录Oracle的person用户执行插入或者更新语句：
INSERT INTO person(id,first_name, last_name,birth_date) VALUES(1,'Trump', 'Donald',sysdate);
update person p set  p.BIRTH_DATE = sysdate -100 where p.ID = 1;
  1. 可以在clien.log看到捕获的信息
    在这里插入图片描述
    但是我发现执行delete语句是无法捕获的，查看数据库脚本发现，databus-example在建立触发器的时候，只建立了inser/update的触发器，没有delete相关的触发器。
    继续查文档，看到这个文档Databus-2.0-Client-Event-Model-and-Consumer-API.
    其中Data Change Events章节中有提到可以捕获update（包含insert）和delete两个操作应该也是可以捕获的。

到此为止，我们能够捕获Oracle数据库变更的行信息。但需要针对每个表新加字段txn，对每个表建立触发器。但捕获到了的数据不像ogg一样可以直接同步到目标库，目前来看这部分需要写代码单独处理。

网络上关于databus的文章资料比较少，我整理了一下有价值的资料地址，我的实验也参考了下面的文章：

  1. databus/wiki
  2. inkedin 的 databus 部署
  3. databus bootstrap 部署
  4. Databus架构分析与初步实践（for mysql）（上篇）
  5. Databus架构分析与初步实践（for mysql）（下篇）
  6. Databus部分翻译
BerryMew
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
redis oracle 同时使用方法,[内存数据库 同步]使用databus实现oracle和内存数据库redis之间的数据同步...
weixin_30960995的博客
04-02 419
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件最近需要对oracle和redis进行数据同步，发现databus作为中间件，这玩意是linkedin的开放源代码项目(奥巴马的拳击段落子展示可以在LinkedIn上显示简历，这没什么大不了的。大多数信息都是英语，并且gradle用作编译和打包工具。原则性内容在github，https://github.com/lin...
databus安装 for mysql
iKuboo
09-27 1415
一、前提工作 安装mysql(5.5版本)，5.7的版本我试了，接收不到binlog，原因后续在排查。参看：mac用brew 安装mysql5.5 安装gradle(4.7版本)。因为databus源码是用gradle构建的；安装方法参考：gradle安装 从githun下载databus源码。https://github.com/linkedin/databus 下载ojdbc6.jar...
整理知识点——databus的使用
yyf960126的博客
07-12 2630
Databus是LinkedIn开源的一款低延迟的分布式数据库同步系统它提供可靠的数据捕获、流转和数据处理功能。 github地址是：https://github.com/linkedin/databus 核心组件： 　　Databus的核心组件是Databus Relay。主要负责两个工作： 　　1、从Databus源数据库中读取变化行，并序列化为事件流保存至内存中。 　　2...
Databus简介
荒野孤鹰
11-27 1万+
1.背景 在互联网架构中，数据系统通常分为真实数据（source-of-truth）系统，作为基础数据库，存储用户产生的写操作；以及衍生数据库或索引，提供读取和其他复杂查询操作。后者常常衍生自主数据存储，会对其中的数据做转换，有时还要包括复杂的业务逻辑处理。缓存中的数据也来自主数据存储，当主数据存储发生变化，缓存中的数据就需要刷新，或是转为无效。这样架构自然而然的一个问题就是如何保障基础数
Databus架构分析与初步实践
weixin_30876945的博客
06-05 258
简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点： 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意...
使用databus实现oracle和内存数据库redis之间的数据同步
热门推荐
guojing505123的博客
05-10 2万+
最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkin的开源项目（奥巴马的封箱段子秀上说要在linkin上投简历，来头不小啊）。 资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki 把操作步骤分享出来： 1.新建用户 脚本：
databus数据库
09-28
master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）
Elysium-DataBus
04-11
极速数据总线执照Copyright 2021 ZhupfLicensed under the Apache License, Version 2.0 (the "License");... softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES O
databus-master.zip
01-14
1. **多种数据库支持**：Databus支持多种主流数据库，如MySQL、Oracle、SQL Server等，这使得它能广泛应用于各种数据库环境。 2. **低延迟**：通过高效的CDC机制，Databus能够在极短的时间内将数据变更事件传递到...
服务集成总线，DataBus
06-20
"服务集成总线，DataBus"是一个自定义开发的工具，旨在简化各种服务的集成过程，包括WebService、WebApi、动态库以及数据库。这个工具的主要功能是将这些不同的服务资源转化并整合为一个统一的服务接口，以提高开发...
DMETL_Databus
08-30
DMETL_Databus
Databus 调研测试
feng12345zi的博客
06-28 1299
1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点：数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费，包括...
Databus Clients
du_minchao的专栏
03-31 1489
概述 Databus Clients主要负责以下几个工作： 通过Databus Relays restful 服务，检查新的数据变化事件，并处理业务逻辑(如同步数据、保存入缓存服务等)；如果与relays的连接断开时间太长(SCN号差别大)，会向bootstrap server发送一个查询请求；新的客户端向bootstrap server查询之后，切换到relays获取最近的数据变化事
LiveDataBus使用方式
博客
08-23 4402
调用方式 订阅消息 observe 生命周期感知，不需要手动取消订阅 LiveDataBus.get() .with("key_name", String.class) .observe(this, new Observer&lt;String&gt;() { @Override public void onChanged(@Nul...
分布式日志传输系统Databus(一)--系统介绍
nidongla的博客
05-24 651
Databus系统是微博DIP团队开源的分布式日志传输系统。它是一个分布式、高可用的，用于采集和移动大量日志数据的服务。它基于流式数据的简单而灵活的架构，具备健壮性和容错性，具有故障转移与恢复机制。它采用简单的可扩展的数据投递模型，允许用户自定义扩展传输组件。 主要特性返利网站 https://www.cpa5.cn/ All-In-One 所有的日志传输通道整合到一个系统，避免针对每种业务相应地定制一套日志传输组件，这样随着业务的增多，运维压力会剧增。 热加载 在JVM无需重启的情况下，可以添加、更新、.
mysql databus_Databus架构分析与初步实践（for mysql）（上篇）
weixin_36371906的博客
01-19 188
作者：徐和东description: 目前关于databus的相关资料较少，特别是针对mysql的文档尤为稀少。本篇文章中介绍了databus相关组件及实现原理，初步实现了databus对mysql数据库的数据抓取，希望对后续使用者能提供一定的参考作用。 categories: 后端 date: 2017/5/24 tags:Databus For Mysql低延迟数据抓取数据库日志挖掘1. 简介...
Databus Relays
du_minchao的专栏
03-31 2061
概述 Databus Relays主要负责以下两个工作： 从databus源数据库中读取变化行，并序列化为事件流保存至内存中；接受客户端的请求，并将数据变化事件流返回给客户端。 技术架构   Event Producer：用来读取数据库的变化事件，转化为AVRO类型并存储至内存中；Circular Buffer：Relay有一个或多个环形的缓冲池用来保存按递增
databus同步oracle到elasticsearch
yowrhihoil的博客
03-27 2621
一、下载databus是LinkedIn开源的项目，最近更新时间是17年7月26日，https://github.com/linkedin/databus二、下载oracle驱动包http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html点击ojdbc6.jar，开始下载。（这个链接比较...
oracle数据库redis,使用databus实现oracle和内存数据库redis之间的数据同步-Oracle
weixin_39615741的博客
04-02 428
最近需要做oracle和redis的数据同步，找到了databus作为中间件，这个玩意是linkin的开源项目(奥巴马的封箱段子秀上说要在linkin上投简历，来头不小啊)。资料大多是英文，而且用了gradle做编译打包工具，原理性的东西github上有介绍，https://github.com/linkedin/databus/wiki把操作步骤分享出来：1.新建用户脚本：命令：./create...
#include "LCD1602.h" void waitforready(void) { unsigned char idata status; DATABUSINPUTMODE(); //DATABUS=0x00; //do{ ENL; RSL; RWH;delay100ns;// tps1>60ns do{ ENH; delay1us;//ENH Tpw>450ns DATABUSINPUTMODE();DATABUS=0xff; status=DATABUS; ENL; delay1us;//ENL Tpw>450ns ENH+ENL>1us }while(status&0x80);//4*100ns=400ns //} //while(StatusPIN&0x80); } void writecmd(unsigned char cmd) {waitforready(); //DATABUSOUTPUTMODE();//DDRA=0xff; DATABUS=cmd; ENL; RSL;RWL;delay100ns;//tps1>60ns ENH;delay1us;//Tpw>450ns ENL;delay1us;//Tpw>450ns } void writedata(unsigned char cmd) {waitforready(); //DATABUSOUTPUTMODE();//DDRA=0xff; DATABUS=cmd; ENL; RSH;RWL;delay100ns;//tps1>60ns ENH;delay1us;//Tpw>450ns ENL;delay1us;//Tpw>450ns } //row>=1,col>=1 void SetCurPos(unsigned char row,unsigned char col) { writecmd(((row-1)<<6)+col-1+0x80); } void LCDInit() { //RSOUTPUTMODE(); //RWOUTPUTMODE(); //ENOUTPUTMODE(); writecmd(0x01);// clear the display writecmd(0x38);//8bits bus+double rows display+5*7 martix display writecmd(0x0f);// disp enable+cursor disp+cursor sparking writecmd(0x06);//cursor rightly moved //writecmd(0xc3); } void LCDPrint(unsigned char *p) { while(*p!='\0') {writedata(*p); p++; } } void LCDHideCursor(void) { writecmd(0x0c); // } void LCDShowCursor(void) { writecmd(0x0e); // } void LCDCursorSparking(void) { writecmd(0x0f); } 请逐行分析此段代码
最新发布
05-31
好的，我来逐行分析一下这段代码。 ```c #include "LCD1602.h" ``` 这行代码引入了一个名为"LCD1602.h"的头文件，该头文件包含了LCD1602液晶显示屏的相关定义和函数。 ```c void waitforready(void) ``` 这个函数用于等待LCD1602液晶显示屏准备就绪。 ```c unsigned char idata status; ``` 定义一个名为status的unsigned char类型变量。 ```c DATABUSINPUTMODE(); ``` 设置数据总线为输入模式。 ```c ENL; RSL; RWH; delay100ns; ``` 设置使能、寄存器选择和读写信号，然后延时100纳秒。 ```c do{ ENH; delay1us; DATABUSINPUTMODE(); DATABUS=0xff; status=DATABUS; ENL; delay1us; }while(status&0x80); ``` 在等待LCD1602液晶显示屏准备就绪的过程中，不断发送读状态的命令，直到状态为准备就绪。 ```c void writecmd(unsigned char cmd) ``` 这个函数用于向LCD1602液晶显示屏写入命令。 ```c waitforready(); DATABUS=cmd; ENL; RSL; RWL; delay100ns; ENH; delay1us; ENL; delay1us; ``` 等待LCD1602液晶显示屏准备就绪后，设置命令，然后发送使能、寄存器选择和读写信号，再延时后设置使能信号为低电平。 ```c void writedata(unsigned char cmd) ``` 这个函数用于向LCD1602液晶显示屏写入数据。 ```c waitforready(); DATABUS=cmd; ENL; RSH; RWL; delay100ns; ENH; delay1us; ENL; delay1us; ``` 等待LCD1602液晶显示屏准备就绪后，设置数据，然后发送使能、寄存器选择和读写信号，再延时后设置使能信号为低电平。 ```c void SetCurPos(unsigned char row,unsigned char col) ``` 这个函数用于设置LCD1602液晶显示屏上的光标位置。 ```c writecmd(((row-1)<<6)+col-1+0x80); ``` 将行号和列号转换为光标位置，并发送命令设置光标位置。 ```c void LCDInit() ``` 这个函数用于初始化LCD1602液晶显示屏。 ```c writecmd(0x01); writecmd(0x38); writecmd(0x0f); writecmd(0x06); ``` 发送命令初始化液晶显示屏，包括清除显示、设置总线为8位、设置显示模式、设置光标移动方式。 ```c void LCDPrint(unsigned char *p) ``` 这个函数用于在LCD1602液晶显示屏上显示字符串。 ```c while(*p!='\0') { writedata(*p); p++; } ``` 循环发送每个字符的数据，直到字符串结束符'\0'出现。 ```c void LCDHideCursor(void) ``` 这个函数用于隐藏LCD1602液晶显示屏上的光标。 ```c writecmd(0x0c); ``` 发送命令隐藏光标。 ```c void LCDShowCursor(void) ``` 这个函数用于显示LCD1602液晶显示屏上的光标。 ```c writecmd(0x0e); ``` 发送命令显示光标。 ```c void LCDCursorSparking(void) ``` 这个函数用于让LCD1602液晶显示屏上的光标闪烁。 ```c writecmd(0x0f); ``` 发送命令让光标闪烁。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值