mysql2deepgreen数据同步方案

原创 2018年04月15日 13:49:54

概述:为满足大数据量的查询需求以及未来可能存在的大数据挖掘需求,现阶段mycat+mysql的数据库架构已无法满足需求,需要更换分布式数据库

数据库选型为Deepgreen 25版本(稳定版)

 

涉及数据同步方案的更改

 

数据同步方案如下


注意事项

Maxwell负责拉取mysql数据源的binlog日志,同时maxwell会在源数据库中创建名为maxwell的数据库用来存放源数据库的schemal、表名、字段名、bin-log-postion等信息

在源库进行flush logs操作时会导致maxwell找不到上一次的bin-log位置点

所以需要手动删除源数据库上的maxwell数据库,重启maxwell来获取源数据的信息

 

同上在源数据库进行定期数据清理时要注意以下几点

1关闭maxwell停止bin-log获取

2手动删除源数据库上的maxwell数据库

3删除源数据库的需要清理的数据

4在源数据库上重置bin-log,resetmaster

5重启maxwell来获取新的bin-log位置点


使用 Binlog 和 Canal 从 MySQL 抽取数据

数据抽取是 ETL 流程的第一步,我们常会需要从多个不同的 MySQL 实例中抽取数据,存入一个中心节点,或直接进入 Hive。借助 Canal 项目,我们能够通过 MySQL Binlog 进行数据...
  • zjerryj
  • zjerryj
  • 2017-08-14 08:39:08
  • 11205

搭建:canal部署与实例运行和解析MysqlBinlog日志发送到Kafka中

原文地址:http://blog.csdn.net/hackerwin7/article/details/37923607 GitHub源码地址:https://github.com/guof...
  • hblfyla
  • hblfyla
  • 2017-06-06 14:18:38
  • 4437

利用Canal完成Mysql数据同步Redis

流程 Canal的原理是模拟Slave向Master发送请求,Canal解析binlog,但不将解析结果持久化,而是保存在内存中,每次有客户端读取一次消息,就删除该消息。这里所说的客户端,就需要我们写...
  • Stubborn_Cow
  • Stubborn_Cow
  • 2015-12-21 13:18:04
  • 17792

使用canal同步mysql数据

场景: 有两个独立的MySql数据库A和B 数据库A中有个表名为news,该表三个字段: 字段 type id INT title VARCHAR ...
  • u012375924
  • u012375924
  • 2017-04-23 00:43:06
  • 730

使用canal进行mysql数据同步到Redis

写这篇博文时,自己一定是含着误删数据库的眼泪写完的,文中的后续部分会谈到这个“从删库到**”的悲惨故事,这个故事深刻地教训了我,我也想以此来警示大家,注意数据安全和数据备份。1. 可行方案回归正题:我...
  • tb3039450
  • tb3039450
  • 2016-12-29 15:16:20
  • 10100

mysql在centos上的安装以及canal数据同步配置

整合多个文档及自己的demo ---------------------------------- mysql在centos上的安装 -----------------------------...
  • a925907195
  • a925907195
  • 2015-05-30 19:49:54
  • 6059

利用canal使Mysql缓冲Redis

(启动linux中的redis、mysql和canal(这三个在linux中安装好吧,具体操作百度)关闭linux防火墙和允许mysql远程访问)从头创建工程 依赖配置: com.alib...
  • wangh92
  • wangh92
  • 2017-06-13 14:57:27
  • 491

搭建: canal部署与实例运行

1、准备: github:https://github.com/alibaba/canal 里面有包括server端 client端的 例子
  • hackerwin7
  • hackerwin7
  • 2014-07-18 12:46:24
  • 46984

Canal详解

原文地址:http://agapple.iteye.com/blog/1796633    背景    早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务...
  • tanga842428
  • tanga842428
  • 2017-03-01 15:18:16
  • 3231

Canal之配置

配置说明介绍配置之前,先了解下canal的配置加载方式: canal配置方式有两种: ManagerCanalInstanceGenerator: 基于manager管理的配置方式,目前alibab...
  • hyx1990
  • hyx1990
  • 2016-09-13 12:00:02
  • 5175
收藏助手
不良信息举报
您举报文章:mysql2deepgreen数据同步方案
举报原因:
原因补充:

(最多只允许输入30个字)