大数据框架
帅成一匹马
这个作者很懒,什么都没留下…
展开
-
datax与其他数据库字段映射
通过源码解读Column-datax中的数据类型,可以知道datax框架中只有7(enum Type种)种数据类型,那么各个数据库的字段是如何和datax的字段进行相互映射?原文链接:https://waterwang.blog.csdn.net/article/details/113499474...转载 2021-09-07 18:20:57 · 1394 阅读 · 1 评论 -
dataX的WriteModel详解
本文中的writeModel主要是Mysql、Oracle等传统关系数据库中的writeMode。dataX导入到hive是直接写文件,不会支持这些writeModel。预备知识Mysql中的ON DUPLICATE KEY UPDATE使用 ON DUPLICATE KEY UPDATE语句的时候,如果你插入的记录导致主键或唯一索引重复,那么Mysql就会认为该条记录存在,则执行update语句而不是insert语句;反之则执行insert语句而不是更新语句。新建表user,id作为user转载 2021-09-07 17:54:34 · 13259 阅读 · 0 评论 -
DataX3.0配置文件参数详解
datax3.0介绍DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。Reader插件和Writer插件"reader": { "name": "mysqlreader", #从mysql数据库获取数据(也支持sqlserverreader,oraclereader) "name": "txtfilereader", #从本地获取数据转载 2021-09-07 17:47:48 · 11904 阅读 · 0 评论 -
MySQL Binlog 解析工具 Maxwell 详解
maxwell 简介Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。Maxwell主要提供了下列功能:支持SELECT * FROM table的方式进行全量数据初始化 支持在主库发生f..转载 2021-08-17 17:28:54 · 1890 阅读 · 0 评论 -
datax详细介绍及使用
https://blog.csdn.net/qq_39188747/article/details/102577017?ops_request_misc=&request_id=&biz_id=102&utm_term=datax&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-.nonecase&spm=1018.2226.3001.4187转载 2021-08-17 15:42:22 · 1029 阅读 · 0 评论