![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flinkx
文章平均质量分 58
「已注销」
技术仅仅只是一个工具,学习技术是为了开发出来的代码,能够提高他人的工作效率
展开
-
Flinkx测试经验分享
1. 什么是FlinkXFlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架,实现了多种异构数据源之间高效的数据迁移。不同的数据源头被抽象成不同的Reader插件,不同的数据目标被抽象成不同的Writer插件。理论上,FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统,每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。2. 测试使用由于对Flinkx的好奇,空出时间学习和使用Flinkx在最近的半个月内的测试过程中,已经测同oracle,my原创 2021-06-05 16:18:18 · 355 阅读 · 0 评论 -
Flinkx如何通过json文件定位读写插件
前言Flinkx作为数据同步工具,它通过json配置文件来确定多源到多源的数据同步和同步策略,这次就来看看Flinkx是如何通过json配置文件来定位reader和writer端的整体结构从Flinkx项目里可以看到,它对每个数据源都定义了core,reader输出端,writer输入端。当然也有意外,hive和redis只要输入。Flinkx是如何通过json配置文件定位这个源呢看源码定位到D:\Projects\flinkx-1.8.5\flinkx-core\src\main\java\原创 2021-06-05 15:51:01 · 295 阅读 · 0 评论 -
Flinkx启动流程-整体理解
1. 先看启动脚本在bin/flinkx的内容set -eexport FLINKX_HOME="$(cd "`dirname "$0"`"/..; pwd)"# Find the java binaryif [ -n "${JAVA_HOME}" ]; then JAVA_RUN="${JAVA_HOME}/bin/java"else if [ `command -v java` ]; then JAVA_RUN="java" else echo "JAVA_HOM原创 2021-06-05 15:27:58 · 300 阅读 · 0 评论 -
Mysql同步到Hive实例
Mysql同步到Hive实例以下实例均为本地模式下运行完成,主要是针对Mysql数据同步到Hive的实例说明。将介绍mysqlreader和hivewrite的所有参数配置的使用。mysqlwrite参数说明:https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.mdhiveread参数说明:https://github.com/DTStack/flinkx/blob/1.10_relea原创 2021-05-27 18:42:17 · 850 阅读 · 0 评论 -
Flinkx Mysql同步数据到Hive 实例
提前安装好hadoop,Hive和mysql。1. 开启hadoop和hive[root@slave13 conf]# start-all.sh[root@slave13 conf]# hive[root@slave13 conf]# hiveserver2#启动后的进程[root@slave13 conf]# xcall jps=========slave11==================72576 NameNode72946 ResourceManager72155原创 2021-05-26 08:09:31 · 1619 阅读 · 1 评论 -
flinkX快速启动
在flinkx启动之前,请提前安装git,maven,mysql(已同步mysql为例)。 windows安装提前安装好jdk和maven下载代码1.使用git工具把项目clone到本地,或者直接下载flinkx-1.8.5.zipgit clone https://github.com/DTStack/flinkx.git cd flinkx2.直接下载源码wget https://github.com/DTStack/flinkx/archive/1.8.5.zip unzip原创 2021-05-26 07:54:12 · 269 阅读 · 0 评论