mysql
TracyGao01
保持专注
展开
-
Kettle取代sqoop,实现hbase2mysql,mysql2hbase(小试)
背景:由于之前传统的数据库数据采集及集成到hbase,都在用sqoop(1.46),但是发现比较麻烦,虽然脚本很简单,但是还是比较繁琐,且发现各种bug,问题很多,就想采用kettle来做,本文档主要是对kettle可行性的调研本文采用kettle最新版本:7.1 (傻瓜式安装) cdh版本为5.11.0操作流程:由于最新版本的插件kettle7.1只能支持cdh5.10,...原创 2017-07-08 17:11:15 · 9740 阅读 · 0 评论 -
CDH元数据的主从备份
目的:对CDH集群做数据备份,切主从同步环境:OS:Ubuntu14.0 (两台机器 :主从)DB:mysql步骤:1:主库元数据迁移(1) 锁库,备份期间防止元数据变化(一定要做,不然后续主从同步会有坑)FLUSH TABLES WITH READ LOCK;(2) 导出元数据:(数据库中的表结构及数据)mysqldump-uroot –p am...原创 2017-09-18 16:15:50 · 1431 阅读 · 0 评论 -
StreamSets 从传统关系型数据库Mysql到Hbase的实时数据采集(初试)
最近在研究StreamSets,因为它官网的标题就是处理复杂数据流,就想试一下,做了几个简单Demo之后,发现从传统关系型数据库到Hbase貌似经过很简单的操作就可以做到实时的数据采集:1、首先不管是什么环境,一定要先装好StreamSets,我用的的是CDH,直接在StreamSets的官网下载对应版本的parcel包,在CDH离线安装就可以了2、直接进入StreamSets...原创 2017-11-14 09:36:46 · 6056 阅读 · 9 评论 -
kettle Mysql处理timestamp数据格式数据异常
解决: zeroDateTimeBehavior convertToNull原创 2018-04-04 11:14:21 · 2243 阅读 · 0 评论 -
Debezium:mysql connector安装
前言:debezium提供了多种基于kafka的连接器,方便对RDB做数据流处理,包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强,代码可控,本篇介绍基于mysql的安装使用插件版本:Kafka:CDK3.10 (相当于Kafka1.1版本),这里需要kafka 0.10以上版本才能支持Debezium:0.83Mysql:5...原创 2018-11-19 19:22:53 · 2611 阅读 · 1 评论 -
Debezium:mysql connector使用
前言:mysql connector支持功能:1、数据流式处理2、支持多种模式mysql集群的数据处理3、支持流复制异常中断后的数据自动恢复4、支持DDL级别操作的数据流处理备注:本文以kafka单节点开发环境为例,多节点分布式连接器相似,参考:https://blog.csdn.net/u012551524/article/details/83349324插件版本:...原创 2018-11-19 19:31:35 · 5047 阅读 · 0 评论