数据采集相关
文章平均质量分 64
flume、sqoop、datax、logstash等
DevinKim
分享阳光^0^~
展开
-
mysql2hive建表语句的转换
准备一张维度表:dim_ddl_convert,建表语句如下:DROP TABLE IF EXISTS `dim_ddl_convert`;CREATE TABLE `dim_ddl_convert` ( `source` varchar(100) NOT NULL, `data_type1` varchar(100) NOT NULL, `target` varchar(100) NOT NULL, `data_type2` varchar(100) DEFAULT NULL, `转载 2020-10-09 14:16:19 · 1256 阅读 · 0 评论 -
DataX数据同步测试
DataX数据同步测试一.MySQL全量数据同步1.MySQL建表-- ambari03.baicdt.com:3306/bitestdb root 123456USE `bitestdb`;DROP TABLE IF EXISTS `emp`;CREATE TABLE `emp` ( `id` int(11) DEFAULT NULL, `name` varchar(100) DEFAULT NULL, `deg` varchar(100) DEFAULT NULL, `s原创 2020-09-27 16:42:01 · 1107 阅读 · 0 评论 -
Canal
Canal官网: https://github.com/alibaba/canal/canal是 阿里巴巴 的一个使用Java开发的开源项目它是专门用来进行 数据库同步 的目前支持 mysql 、以及(mariaDB)1、Canal原理Canal模拟mysql slave的交互协议,伪装自己为mysql slave向mysql master发送dump协议mysql master收到dump协议,发送binary log给slave(canal) 4. canal解析bi原创 2020-09-27 16:11:12 · 843 阅读 · 0 评论