Databus Relays

最新推荐文章于 2021-06-08 16:24:29 发布
最新推荐文章于 2021-06-08 16:24:29 发布
阅读量2.1k 收藏 2
点赞数 1
分类专栏： databus

概述

Databus Relays主要负责以下两个工作：

  • 从databus源数据库中读取变化行，并序列化为事件流保存至内存中；
  • 接受客户端的请求，并将数据变化事件流返回给客户端。

技术架构

 

  • Event Producer：用来读取数据库的变化事件，转化为AVRO类型并存储至内存中；
  • Circular Buffer：Relay有一个或多个环形的缓冲池用来保存按递增的系统变化号(SCN) 为顺序的变化事件；
  • SCN Writer/Reader：用来读取和写入SCN号至硬盘；
  • RESTFUL interface：它暴露一个restful接口，用来推送数据变化事件至客户端。

数据抓取

目前支持Oracle和Mysql两种数据源的抓取。

Oracle数据抓取

抓取Oracle数据是通过给源表添加一个触发器，在新增和修改的时候记录SCN号作为查询的依据，通过relay定期的查询获取变化的数据。删除和查询不受影响。

Oracle数据库配置

首次部署databus，主要有以下几个步骤(非首次部署，只需要从步骤3开始)：

  1. 创建databus表空间、用户、赋权限

    createUser.sh
    -- 创建databus表空间，databus用户，并给databus付权限(参见createUser.sql)，注意需要指定datafile，如果表空间名字修改了，则需要修改tablespace文件
    create  tablespace TBS_DATABUS datafile  '${DBDIR}/tbs_databus_01.dbf'  size  50M reuse autoextend  on  next  50M maxsize unlimited extent management  local  uniform  size  2M;
    create  tablespace TBS_DATABUS_IDX datafile  '${DBDIR}/tbs_databus_idx_01.dbf'  size  50M reuse autoextend  on  next  50M maxsize unlimited extent management  local  uniform  size  2M;
    create  user  DATABUS identified  by  DATABUS  default  tablespace TBS_DATABUS  temporary  tablespace temp1;
    grant  create  session,  create  table ,  create  view ,  create  sequence ,  create  procedure ,  create  trigger ,  create  type,  create  job   to  DATABUS;
    grant  query rewrite  to  DATABUS;
    grant  execute  on  dbms_alert  to  DATABUS;
    grant  execute  on  sys.dbms_lock  to  DATABUS;
    grant  select  on  sys.v_$ database  to  DATABUS;
    grant  execute  on  sys.dbms_aq  to  DATABUS;
    grant  execute  on  sys.dbms_aqadm  to  DATABUS;
    grant  execute  on  sys.dbms_aqin  to  DATABUS;
    grant  execute  on  sys.dbms_aq_bqview  to  DATABUS;
    alter  user  DATABUS quota unlimited  on  TBS_DATABUS;
    alter  user  DATABUS quota unlimited  on  TBS_DATABUS_IDX;

  2.    创建databus核心包、表、存储过程等必须的东西，使用databus用户，执行oracle/bin/createSchema.sh databus/databus@posp_boss ${Dir}/BOOK

    createSchema.sh
    #
    #
    # Copyright  2013  LinkedIn Corp. All rights reserved
    #
    # Licensed under the Apache License, Version  2.0  (the  "License" );
    # you may not use  this  file except in compliance with the License.
    # You may obtain a copy of the License at
    #
    #   http: //www.apache.org/licenses/LICENSE-2.0
    #
    # Unless required by applicable law or agreed to in writing,
    # software distributed under the License is distributed on an
    #  "AS IS"  BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
    # KIND, either express or implied.  See the License  for  the
    # specific language governing permissions and limitations
    # under the License.
    #
    #
    usage() {
       echo  "Usage: $0 <username/password@SID> <SRC_VIEW_DIR>"
    }
    # Database Connection Info
    DB=$ 1
    # Log Directory
    SRC_VIEW_DIR=$ 2
    # Check that DB is set
    if  [  "x$DB"  =  "x"  ]
    then
       usage
       exit  1
    fi
    user=`echo $DB | perl -lane  '{my $a = $_; $a =~ s/([^\/]*)\/.*/$1/; print $a;}' `;
    password=`echo $DB | perl -lane  '{my $a = $_; $a =~ s/[^\/]*\/([^@]*)\@.*/$1/; print $a;}' `;
    sid=`echo $DB | perl -lane  '{my $a = $_; $a =~ s/[^\/]*\/[^@]*\@(.*)/$1/; print $a;}' `;
    if  [  "x$user"  =  "x"  ] || [  "x$password"  =  "x"  ] || [  "x$sid"  =  "x"  ]
    then
       echo  "First argument not in format <username/password@SID>"
       usage
       exit  1
    fi
    if  [ ! -d  "$SRC_VIEW_DIR"  ]
    then
       echo  "Src view directory not found or not a directory"
       usage
       exit  1
    fi
    if  [ ! -f  "$SRC_VIEW_DIR/tablespace"  ]
    then
       echo  "Tablespace file ($SRC_VIEW_DIR/tablespace) not provided"
       usage
       exit  1
    fi
    tbs=`cat $SRC_VIEW_DIR/tablespace`;
    tbs_uc=`echo $tbs | tr  '[A-Z]'  '[a-z]' `
    tbs_lc=`echo $tbs | tr  '[a-z]'  '[A-Z]' `
     
    echo  "User : $user"
    echo  "Password : $password"
    echo  "SID : $sid"
    echo  "DB : $DB"
    echo  "TBS : $tbs_uc"
    #
    # create sequenes,tables
    #
    ../fwk/schema/ddl_sqs.sh  "$DB"
    ../fwk/schema/ddl_tab.sh  "$DB"  "$tbs_uc"
    # add column txn
    # for  t in ${SRC_VIEW_DIR}/*\.tab;
    # do
    #  echo  "Processing Table definition File : $t"
    #  table=`echo $t | perl -lane  '{ $a = $_; $a =~ s/.*\/(.*)\.tab/$1/; print $a; }' `
    #  echo  "Creating Table $table. File is $t"
    #  echo  "sqlplus ${DB} " @$t " ${sid} ${user} ${password} ${tbs_lc}"
    #  sqlplus ${DB} << __EOF__
    #    @$t  ${sid} ${user} ${password} ${tbs_lc}
    #__EOF__
    #done
    #
    # create contains/indexes
    #
    ../fwk/schema/ddl_con.sh  "$DB"  "$tbs_uc"
    ../fwk/schema/ddl_ind.sh  "$DB"  "$tbs_uc"
    #
    # crete procedure/packages/functions
    #
    for  t in ${SRC_VIEW_DIR}/*\.tab;
    do
       table=`echo $t | perl -lane  '{ $a = $_; $a =~ s/.*\/(.*)\.tab/$1/; print $a; }' `
       echo  "Setting up Alerts for  $table. File is $t"
       ../fwk/schema/ddl_prc.sh  "$DB"  "$table"
    done
    #
    # create databus views
    #
    ../fwk/schema/ddl_vw.sh  "$DB"
    #
    # create business table's view
    #
    # for  t in ${SRC_VIEW_DIR}/*\.view;
    # do
    #  echo  "Processing View definition File : $t"
    #  view=`echo $t | perl -lane  '{ $a = $_; $a =~ s/.*\/(.*)\.view/$1/; print $a; }' `
    #  echo  "Creating view sy\$$view"
    #  pattern= "sy\\$" ;
    #  pattern+= "${view}" ;
    #  wc=`grep -ic  "${pattern}"  $t`
    #   if  [ $wc -lt  1  ];
    #  then
    #     echo  "View names should start with sy\$. Offending view file ($t)" ;
    #     exit  1
    #  fi
    #  sqlplus ${DB}  << __EOF__
    #     @$t  ${sid} ${user} ${password} ${tbs_lc};
    #__EOF__
    #done
    #
    # create sync_alert
    #
    ## execute rest
    for  t in ${SRC_VIEW_DIR}/*\.tab;
    do
       table=`echo $t | perl -lane  '{ $a = $_; $a =~ s/.*\/(.*)\.tab/$1/; print $a; }' `
       echo  "Creating trigger for source $table"
       ../fwk/schema/ddl_prc1.sh   "$DB"  "$table"
    done
     
    #
    # create business table's trigger
    #
    # for  t in ${SRC_VIEW_DIR}/*\.tab;
    # do
    #  table=`echo $t | perl -lane  '{ $a = $_; $a =~ s/.*\/(.*)\.tab/$1/; print $a; }' `
    #  echo  "Creating trigger for source $table"
    #  ../fwk/schema/ddl_trg.sh  "$DB"  "$table"
    #done
    echo  "INFO: compiling types"
    sqlplus $DB << __EOF__
    exec compile_allobjects;
    __EOF__
     
    echo  "INFO: Sync_core seeding "
    sqlplus $DB << __EOF__
       insert into sync_core_settings values ( 'N' );
       commit;
       show errors;
    __EOF__
     
    #
    # sources setting
    #
    #echo  "INFO: sy\$SOURCES setup"
    #i= 0 ;
    # for  t in ${SRC_VIEW_DIR}/*\.tab;
    # do
    #  echo  "Processing Table definition File : $t"
    #  table=`echo $t | perl -lane  '{ $a = $_; $a =~ s/.*\/(.*)\.tab/$1/; print $a; }' `
    #  echo  "Creating Table $table"
    #  sqlplus $DB << __EOF__
    #    insert into sy\$sources values( '$table' ,$i);
    #__EOF__
    #  ((i++))
    #done

  3. 修改表结构，增加一列 TXN NUMBER(posp_boss)

    person.sql
    -- 创建表，添加TXN列
    create  table  posp_boss.person
    (
             id number  primary  key ,
             first_name  varchar (120)  not  null ,
             last_name  varchar (120)  not  null ,
             birth_date  date ,
             deleted  varchar (5)  default  'false'  not  null ,
             txn number
    );
     

  4. 将源表权限赋给databus(posp_boss)

    grant.sql
    grant  insert , update , select  on  posp_boss.PERSON  to  databus;

  5. 给posp_boss赋databus.sync_core包的执行权限(databus)

    grant.sql
    grant  execute  on  databus.sync_core  to  posp_boss;

  6. 创建索引(posp_boss)

    index.sql
    -- 创建索引(posp_boss)
    create  index  posp_boss.PERSON_txn  on  POSP_BOSS.PERSON(txn) tablespace index_data;

  7. 创建表视图，注意一定要把TXN列包括进去，并且要把ID映射为KEY

    book_vw.sql
    -- 主键ID 映射为 KEY
    CREATE  OR  REPLACE  FORCE  VIEW  sy$person
    AS
    SELECT
       txn,
       id  key ,
       first_name,
       last_name,
       birth_date,
       deleted
    FROM
       posp_boss.person;

  8. 新增sy$sources表配置，注意value的值必须小于等于125

    insert.sql
    -- 注意sourceName区分大小写，对应到上面触发器里面的sync_core.getTxn('POSP_BOSS.PERSON')的POSP_BOSS.PERSON
    insert  into  databus.sy$sources  values ( 'POSP_BOSS.PERSON' ,1);

  9.  创建触发器

    trigger.sql
    -- 注意和sy$sources插入的值一致
    CREATE TRIGGER PERSON_TRG
       before insert or update on POSP_BOSS.PERSON
       referencing old as old  new  as  new
       for  each row
    begin
       if  (updating and : new .txn <  0 ) then
         : new .txn := -: new .txn;
       else
         : new .txn := databus.sync_core.getTxn( 'POSP_BOSS.PERSON' );
       end  if ;
    end;

    至此，针对于Oracle的数据抓取数据端的配置就全部配置完毕了。

     

Mysql数据抓取

Mysql的数据抓取比较简单

  • 创建一个slave的帐号，因为binlog日志分析是基于主从复制的模式来实现的
  • 开启Mysql的binlog日志，设置日志名称，这个名称是后面需要用到的，默认mysql-bin，注意，binlog日志默认是不开启的，开启后需要重启mysql服务

  • 设置binlog日志格式为ROW，默认是STATEMENT。binlog_format  = ROW ，只有ROW模式才会记录受影响的行数，Databus默认只获取影响行数的事件

    my.cnf
    server-id               =  1
    log_bin                 = mysql-bin
    expire_logs_days        =  10
    max_binlog_size         = 100M
    binlog_format           = ROW

  • 配置数据源，注意sources的id必须与sy$sources中的value一致

    sources.json
    {
         "name"  :  "boss" ,
         "id"   :  1 ,
         "uri"  :  "mysql://repl%2F123456@localhost:3306/1/mysql-bin" ,
         "slowSourceQueryThreshold"  :  2000 ,
         "sources"  :
         [
             { "id"  :  1 ,
              "name"  :  "com.linkedin.events.example.person.Person" ,
              "uri" :  "lijiang.person" ,
              "partitionFunction"  :  "constant:1"
             }
         ]
    }

     

    uri的格式为：mysql://用户%2F密码@host:port/serverID/binlog文件名称
    另外需要注意sources里对应数据源的uri，必需带上数据库名称，格式为 db.table 

  • 对于Mysql的数据抓取，很多数据类型在Avro序列化时会被转换为string

部署normal_replay

  1. 配置relay sources，sources的id必须与sy$sources的value一致。注意oracle和mysql的配置是不一样的。

    source.json
    # oracle
    {
         "name"  :  "person" ,
         "id"   :  1 ,
         "uri"  :  "jdbc:oracle:thin:lijiang/lijiang@192.168.16.239:51521:afc1" ,
         "slowSourceQueryThreshold"  :  2000 ,
         "sources"  :
         [
             { "id"  :  1 ,
              "name"  :  "com.linkedin.events.example.person.Person" ,
              "uri" :  "lijiang.person" ,
              "partitionFunction"  :  "constant:1"
             }
         ]
    }
     
    # mysql
    {
         "name"  :  "boss" ,
         "id"   :  1 ,
         "uri"  :  "mysql://repl%2F123456@localhost:3306/1/mysql-bin" ,
         "slowSourceQueryThreshold"  :  2000 ,
         "sources"  :
         [
             { "id"  :  1 ,
              "name"  :  "com.linkedin.events.example.person.Person" ,
              "uri" :  "lijiang.person" ,
              "partitionFunction"  :  "constant:1"
             }
         ]
    }

  2. 添加 avro 配置文件至schemas_registry文件夹中，关于avro的详细结束参见Apache Avro

    book.avsc
    {
       "name"  :  "Person_V1" ,
       "doc"  :  "Auto-generated Avro schema for sy$person. Generated at Dec 04, 2012 05:07:05 PM PST" ,
       "type"  :  "record" ,
       "meta"  :  "dbFieldName=sy$person;pk=key;" ,
       "namespace"  :  "com.linkedin.events.example.person" ,
       "fields"  : [ {
         "name"  :  "txn" ,
         "type"  : [  "long" ,  "null"  ],
         "meta"  :  "dbFieldName=TXN;dbFieldPosition=0;"
       }, {
         "name"  :  "key" ,
         "type"  : [  "long" ,  "null"  ],
         "meta"  :  "dbFieldName=KEY;dbFieldPosition=1;"
       }, {
         "name"  :  "firstName" ,
         "type"  : [  "string" ,  "null"  ],
         "meta"  :  "dbFieldName=FIRST_NAME;dbFieldPosition=2;"
       }, {
         "name"  :  "lastName" ,
         "type"  : [  "string" ,  "null"  ],
         "meta"  :  "dbFieldName=LAST_NAME;dbFieldPosition=3;"
       }, {
         "name"  :  "birthDate" ,
         "type"  : [  "long" ,  "null"  ],
         "meta"  :  "dbFieldName=BIRTH_DATE;dbFieldPosition=4;"
       }, {
         "name"  :  "deleted" ,
         "type"  : [  "string" ,  "null"  ],
         "meta"  :  "dbFieldName=DELETED;dbFieldPosition=5;"
       } ]
    }

  3. 启动relay

    starup.sh
    ./bin/startup.sh relay

至此，Relay和数据库都已经配置和部署完成！

向着朝阳出发
关注
专栏目录
Databus 分布式数据库同步系统
高广超的博客
01-22 1045
社区wiki主页：https://github.com/linkedin/Databus/wiki 背景 一个大型分布式系统往往存在多种的存储系统，mysql，tair，redis，memcache，hbase等等。一些重要的或者需要事务支持的数据操作，通常都会放到mysql处理。但是，为了满足高性能的访问需求或者做一些服务定制化的查询，业务上通常又会...
Databus
高精尖发展
06-23 3052
今天发现了Databus，恕我愚钝，目前感觉这个东西比canal更胜一筹，为什么呐？ 博客:https://www.cnblogs.com/xunshao/p/9762377.html—— 看完留下我无知的感叹：Databus好厉害呀！我的妈呀、用它 O(∩_∩)O哈哈~ 抖音洗脑了，应该是各有长处的，这里丫头我就不做店评了，确实还不(hen)够(nian)格(qing...
databus概述
du_minchao的专栏
03-31 9395
概述 Databus 是 LinkedIn 开源的一款低延迟的分布式数据库同步系统(a source-agnostic distributed change data capture system)，它提供可靠的数据捕获、流转和数据处理功能。针对这些功能，有以下几个特性： 隔离性 (隔离数据源和消费端)；高可用性 (保证有秩序的且至少一次数据传递)；数据完整性 (在任意的时间点的数据变
DataBus(数据同步组件)
weixin_43564627的博客
06-08 6517
DataBus(数据同步组件) github： https://github.com/linkedin/databus/wiki Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点： 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意时间
databus数据库
09-28
### Databus数据库与MySQL二进制日志详解 #### 一、二进制日志(Binary Log)概览 在MySQL数据库系统中，二进制日志(Binary Log)是一种非常重要的功能，它记录了所有对数据库执行更改的操作，如INSERT、UPDATE、...
databus-master.zip
01-14
《数据库同步系统Databus深度解析》 在大数据领域，数据的实时同步是不可或缺的一环。今天我们将聚焦于名为"Databus"的数据库同步系统，通过深入探讨其核心原理、功能特性以及应用场景，来理解这一工具如何在数据...
服务集成总线，DataBus
06-20
"服务集成总线，DataBus"是一个自定义开发的工具，旨在简化各种服务的集成过程，包括WebService、WebApi、动态库以及数据库。这个工具的主要功能是将这些不同的服务资源转化并整合为一个统一的服务接口，以提高开发...
Databus 深入学习
郭传志的博客
12-19 1397
一、关于databus LinkedIn于2月26日开源了其低延时变化数据捕获系统Databus，该系统可以在MySQL以及Oracle数据源上捕获数据，当下LinkedIn只开源了Oracle上的连接器。Databus作为LinkedIn生态系统中的一致性保障组件，在低延时的情况下仍然具有高有效性；而其最大的特点莫过于无限制恢复能力及丰富的数据深度处理功能。 二、基于da...
DataBus-入门介绍-1
weixin_37512224的博客
03-23 3387
背景 在it存储系统中，可以分为OLTP/OLAP方案，其中OLTP用于主系统，OLAP用于离线分析系统；但是在追求实时性的系统中OLAP很难满足业务的需求； 因此我们需要OLTP的系统数据变更实时的同步到OLAP存储中； 方案 可以通过业务双写，同时写入2个存储中 事务控制复杂 通过数据库日志同步 介绍 通过拉取、解析database的变更日志形成事件缓存在环形buffer中，实现客...
分布式数据同步系统Databus.zip
07-18
LinkedIn最近发布了一套源无关的分布式数据同步系统Databus。简单说，就是把交易数据同步到各个不同的应用中。一个大的特色是这系统采用pull模式从log中取得数据，以达到对生产系统最小影响。 标签：Databus  数据同步
databus mysql搭建_Databus架构分析与初步实践（for mysql）
weixin_42318812的博客
02-05 627
目前关于databus的相关资料较少，特别是针对mysql的文档尤为稀少。本篇文章中介绍了databus相关组件及实现原理，初步实现了databus对mysql数据库的数据抓取，希望对后续使用者能提供一定的参考作用。1. 简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可...
整理知识点——databus的使用
yyf960126的博客
07-12 2695
Databus是LinkedIn开源的一款低延迟的分布式数据库同步系统它提供可靠的数据捕获、流转和数据处理功能。 github地址是：https://github.com/linkedin/databus 核心组件： 　　Databus的核心组件是Databus Relay。主要负责两个工作： 　　1、从Databus源数据库中读取变化行，并序列化为事件流保存至内存中。 　　2...
Databus简介
热门推荐
荒野孤鹰
11-27 1万+
1.背景 在互联网架构中，数据系统通常分为真实数据（source-of-truth）系统，作为基础数据库，存储用户产生的写操作；以及衍生数据库或索引，提供读取和其他复杂查询操作。后者常常衍生自主数据存储，会对其中的数据做转换，有时还要包括复杂的业务逻辑处理。缓存中的数据也来自主数据存储，当主数据存储发生变化，缓存中的数据就需要刷新，或是转为无效。这样架构自然而然的一个问题就是如何保障基础数
DataBus概述
weixin_33716557的博客
07-08 1078
为什么80%的码农都做不了架构师？>>> ...
Databus架构分析与初步实践
weixin_30876945的博客
06-05 271
简介 Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。 Databus有以下特点： 数据源和消费者之间的隔离。 数据传输能保证顺序性和至少一次交付的高可用性。 从变化流的任意...
Databus环境搭建
xinruzhishui012的专栏
06-04 1034
1、在my.cnf中增加以下配置 log_bin=on log_slave_updates=on binlog_format=row binlog_checksum=none 2、授权： GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'xxx'@'XXX' IDENTIFIED BY 'xxx'; GRANT SELECT, LOCK TABLES ON `mco_promotion`.* TO 'xxx'@'xxx'; 然后重启 .
数据库和databus
define_us的专栏
11-12 590
原理 Databus采用的是数据库日志挖掘的方式，这种方式最大的好处是能最大限度的保持一致性，而且具有最有的性能，但是缺点就是实现起来极为困难。因为Oracle和MySQL这样的数据库有自己特有的私有交易日志格式以及复制冗余解决方案，每次版本升级之后可能都会导致日志挖掘的代码失败，需要持续的保持升级。 Databus Relay： 从源数据库中的Databus源中读取变化的行并序列化为Datab...
分布式日志传输系统Databus(一)--系统介绍
nidongla的博客
05-24 671
Databus系统是微博DIP团队开源的分布式日志传输系统。它是一个分布式、高可用的，用于采集和移动大量日志数据的服务。它基于流式数据的简单而灵活的架构，具备健壮性和容错性，具有故障转移与恢复机制。它采用简单的可扩展的数据投递模型，允许用户自定义扩展传输组件。 主要特性返利网站 https://www.cpa5.cn/ All-In-One 所有的日志传输通道整合到一个系统，避免针对每种业务相应地定制一套日志传输组件，这样随着业务的增多，运维压力会剧增。 热加载 在JVM无需重启的情况下，可以添加、更新、.
实时数仓MySQL binlog同步工具：Canal vs Maxwell vs Databus
"这篇文档主要对比了三种MySQL的binlog实时同步工具——Canal、Maxwell和Databus，它们都是用于构建实时数仓的重要组件。文档内容涉及到这些工具的功能特性、工作原理以及各自的优势。" 文章内容详细展开： 1. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值