数据集成工具的使用（三）---FlinkX 从理论学习到熟练使用

最新推荐文章于 2024-05-19 14:00:36 发布
最新推荐文章于 2024-05-19 14:00:36 发布
阅读量8.2k 收藏 6
点赞数 2
分类专栏： 大数据常用工具 BigData 文章标签： flink flinkx big data 数据集成工具 数据库开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dazuo_001/article/details/120476642
版权

本期与大家分享的是，小北精心整理的大数据学习笔记，数据采集工具FlinkX 的详细介绍，希望对大家能有帮助，喜欢就给点鼓励吧，记得三连哦！欢迎各位大佬评论区指教讨论！

💜🧡💛制作不易，各位大佬们给点鼓励！
🧡💛💚点赞👍 ➕ 收藏⭐ ➕ 关注✅
💛💚💙欢迎各位大佬指教，一键三连走起！

往期好文推荐：
🔶🔷数据集成工具的使用（一）—Sqoop 从理论学习到熟练使用
🔶🔷数据集成工具的使用（二）—DataX 从理论学习到熟练使用
🔶🔷数据集成工具的使用（四）—Flume 从理论学习到熟练使用
🔶🔷数据集成工具的使用（五）—Kettle 从理论学习到熟练使用

一、FlinkX 简介

        FlinkX 是一个基于 Flink 的数据同步工具。 FlinkX 可以采集静态数据，如 MySQL、HDFS 等，也可以采集实时变化的数据，如 MySQL binlog、Kafka 等。 同时 FlinkX 也是一个支持所有语法和特性的计算框架原生的 FlinkSql ， 并提供了大量的 案例 。 FlinkX 目前包括以下功能

  • 大多数插件支持并发读写数据，可以大大提高读写速
  • 部分插件支持故障恢复功能，可以从故障位置恢复任务，节省运行时间；
  • 关系数据库的源插件支持间隔轮询。 可不断采集变化的数据
  • 部分数据库支持开启 Kerberos 安全认证；
  • 限制源码插件的读取速度，减少对业务数据库的影响
  • 写数据时保存脏数据
  • 限制脏数据的最大数量
  • 多种运行模式：Local、Standalone、Yarn Session、Yarn Per
  • 同步任务支持执行flinksql语法的transformer操作
  • sql 任务支持 共享 与 flinkSql 自己的连接器 ；

FlinkX 开源地址： https://github.com/DTStack/flinkx

二、FlinkX 安装

首先，需要安装unzip

yum install unzip

1、上传并解压

unzip flinkx-1.10.zip -d /usr/local/soft/

2、配置环境变量

vim /etc/profile

export FLINKX_HOME=/usr/local/soft/flinkx-1.10
export PATH=$PATH:$FLINKX_HOME/bin

source /etc/profile

3、给bin/flinkx这个文件加上执行权限

chmod a+x flinkx

4、修改配置文件，设置运行端口

vim flinkconf/flink-conf.yaml

web服务端口，不指定的话会随机生成一个

rest.bind-port: 8888

三、FlinkX的简单使用

FlinkX的使用参考文档：
https://github.com/DTStack/flinkx#introduction

在这里插入图片描述

1、MySQLToHDFS

配置文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student?characterEncoding=utf8"
                                ],
                                "table": [
                                    "student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "customSql": "",
                        "where": "clazz = '理科二班'",
                        "splitPk": "",
                        "queryTimeOut": 1000,
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "path": "hdfs://master:9000/data/flinkx/student",
                        "defaultFS": "hdfs://master:9000",
                        "column": [
                            {
                                "name": "col1",
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "name": "col2",
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "name": "col3",
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "name": "col4",
                                "index": 3,
                                "type": "string"
                            },
                            {
                                "name": "col5",
                                "index": 4,
                                "type": "string"
                            },
                            {
                                "name": "col6",
                                "index": 5,
                                "type": "string"
                            }
                        ],
                        "fieldDelimiter": ",",
                        "fileType": "text",
                        "writeMode": "overwrite"
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 1
            }
        }
    }
}

启动任务

flinkx -mode local -job ./scripts/mysqlToHDFS.json -pluginRoot syncplugins/ -flinkconf flinkconf/

在这里插入图片描述

监听日志

flinkx 任务启动后，会在执行命令的目录下生成一个nohup.out文件

tail -f nohup.out

通过web界面查看任务运行情况

http://master:8888

2、MySQLToHive

配置文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student?characterEncoding=utf8"
                                ],
                                "table": [
                                    "student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "customSql": "",
                        "where": "clazz = '文科二班'",
                        "splitPk": "id",
                        "queryTimeOut": 1000,
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hivewriter",
                    "parameter": {
                        "jdbcUrl": "jdbc:hive2://master:10000/testflinkx",
                        "username": "",
                        "password": "",
                        "fileType": "text",
                        "fieldDelimiter": ",",
                        "writeMode": "overwrite",
                        "compress": "",
                        "charsetName": "UTF-8",
                        "maxFileSize": 1073741824,
                        "tablesColumn": "{\"student\":[{\"key\":\"id\",\"type\":\"string\"},{\"key\":\"name\",\"type\":\"string\"},{\"key\":\"age\",\"type\":\"string\"}]}",
                        "defaultFS": "hdfs://master:9000"
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 3
            }
        }
    }
}

在hive中创建flinkx_test数据库，并创建student分区表

create database flinkx_test;
use flinkx_test;
CREATE TABLE `student`(
  `id` string, 
  `name` string, 
  `age` string)
PARTITIONED BY ( 
  `pt` string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ','

启动hiveserver2

# 第一种方式：
hiveserver2
# 第二种方式:
hive --service hiveserver2

启动任务

flinkx -mode local -job ./scripts/mysqlToHive.json -pluginRoot syncplugins/ -flinkconf flinkconf/

查看日志及运行情况同上

3、 MySQLToHBase

配置文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student?characterEncoding=utf8"
                                ],
                                "table": [
                                    "score"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "customSql": "",
                        "splitPk": "student_id",
                        "queryTimeOut": 1000,
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hbasewriter",
                    "parameter": {
                        "hbaseConfig": {
                            "hbase.zookeeper.property.clientPort": "2181",
                            "hbase.rootdir": "hdfs://master:9000/hbase",
                            "hbase.cluster.distributed": "true",
                            "hbase.zookeeper.quorum": "master,node1,node2",
                            "zookeeper.znode.parent": "/hbase"
                        },
                        "table": "testFlinkx",
                        "rowkeyColumn": "$(cf1:student_id)_$(cf1:course_id)",
                        "column": [
                            {
                                "name": "cf1:student_id",
                                "type": "string"
                            },
                            {
                                "name": "cf1:course_id",
                                "type": "string"
                            },
                            {
                                "name": "cf1:score",
                                "type": "string"
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 3
            }
        }
    }
}

启动hbase 并创建testflinkx表

create 'testFlinkx','cf1'

启动任务

flinkx -mode local -job ./scripts/mysqlToHBase.json -pluginRootsyncplugins/ -flinkconf flinkconf/

查看日志及运行情况同上

4、 MySQLToMySQL

配置文件

{
    "job": {
      "content": [
        {
          "reader": {
            "name": "mysqlreader",
            "parameter": {
              "column": [
                {
                  "name": "id",
                  "type": "int"
                },
                {
                  "name": "name",
                  "type": "string"
                },
                {
                  "name": "age",
                  "type": "int"
                },
                {
                  "name": "gender",
                  "type": "string"
                },
                {
                  "name": "clazz",
                  "type": "string"
                }
              ],
              "username": "root",
              "password": "123456",
              "connection": [
                {
                  "jdbcUrl": [
                    "jdbc:mysql://master:3306/student?useSSL=false"
                  ],
                  "table": [
                    "student"
                  ]
                }
              ]
            }
          },
          "writer": {
            "name": "mysqlwriter",
            "parameter": {
              "username": "root",
              "password": "123456",
              "connection": [
                {
                  "jdbcUrl": "jdbc:mysql://master:3306/student?useSSL=false",
                  "table": [
                    "student2"
                  ]
                }
              ],
              "writeMode": "insert",
              "column": [
                {
                    "name": "id",
                    "type": "int"
                  },
                  {
                    "name": "name",
                    "type": "string"
                  },
                  {
                    "name": "age",
                    "type": "int"
                  },
                  {
                    "name": "gender",
                    "type": "string"
                  },
                  {
                    "name": "clazz",
                    "type": "string"
                  }
              ]
            }
          }
        }
      ],
      "setting": {
        "speed": {
          "channel": 1,
          "bytes": 0
        }
      }
    }
  }
北慕辰
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
数据集成工具之FlinkX的安装与使用
糊里糊涂走进大数据的小菜鸡
12-08 3475
FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。
FlinkX简介（什么是FlinkX？）
justlpf的专栏
04-20 3043
当产生业务数据或Flink程序引起的采集进程中断时，可基于Flink定期存储的快照，对流数据的读取节点进行保存，从而在进行故障修复时，可选择历史保存的数据断点进行续跑操作，保证数据的完整性。主要应用于大数据开发平台的数据同步/数据集成模块，通常采用将底层高效的同步插件和界面化的配置方式相结合的方式，使大数据开发人员可简洁、快速的完成数据同步任务开发，实现将业务数据库的数据同步至大数据存储平台，从而进行数据建模开发，以及数据开发完成后，将大数据处理好的结果数据同步至业务的应用数据库，供企业数据业务使用。
十款开源数据集成工具，总有一款适合你
最新发布
分享云原生大数据技术和个人成长、职业发展相关内容
05-19 1120
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
数据集成工具——FlinkX
友培的博客
01-29 1021
文章目录FlinkX的安装与简单使用1、FlinkX的安装1）、上传并解压2）、配置环境变量3）、给bin/flinkx这个文件加上执行权限4）、修改配置文件，设置运行端口2、FlinkX的简单使用1）、MySQLToHDFS2）、MySQLToHive3）、MySQLToHBase FlinkX的安装与简单使用 1、FlinkX的安装 1）、上传并解压 unzip flinkx-1.10.zip -d /usr/local/soft/ 2）、配置环境变量 3）、给bin/flinkx这个文件加上执行权限
数据集成工具 —— datax与flinkx的使用
一纸春秋的博客
12-07 4783
datax datax只要上传到linux本地，解压即可使用，如果不想每次执行的时候都要输入路径，可以配置到环境变量里面 DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步
flinkx使用指南
Naiverloser的博客
12-21 2349
下载代码 1.使用git工具把项目clone到本地 git clone https://github.com/DTStack/flinkx.git cd flinkx 2.直接下载源码 wget https://github.com/DTStack/flinkx/archive/1.8.5.zip unzip flinkx-1.8.5.zip cd flink-1.8.5 编译插件 mvn clean package -DskipTests 运行任务 首先准备要运行的任务json，这里以stream插
flinkx:基于flink的分布式数据同步工具
05-10
FlinkX | 中文 技术交流 招聘Flink研发工程师，如果有兴趣可以联系思枢（微信号：ysqwhiletrue） Flink开发工程师JD要求： 1.负责袋鼠云基于Flink的衍生框架数据同步flinkx和实时计算flinkstreamsql框架的开发； 2.调研和把握当前最新大数据实时计算技术，将其中的合适技术引入到平台中，改善产品，提升竞争力； 职位要求： 1、本科及以上学历，3年及以上的Flink开发经验，精通Java，熟悉Scala、Python优先考虑； 2、熟悉Flink原理，有基于Flink做过二次源码的开发，在github上贡献者Flink源码者优先； 3、有机器学习、数据挖掘相关经验者优先； 4、对新技术有快速学习和上手能力，对代码有一定的洁癖； 加分项： 1.在GitHub或其他平台上有过开源项目 可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发
标准集成电路数据手册--接口电路.pdf
03-09
标准集成电路数据手册--接口电路
标准集成电路数据手册--TTL电路.pdf
03-09
标准集成电路数据手册--TTL电路
实验13-sqoop数据集成.docx
12-21
本实验的主要目的就是熟悉Sqoop数据集成，通过安装和配置Sqoop、MySQL数据库，并使用Sqoop工具将数据从MySQL数据库中导入到HDFS中。 一、实验准备 在进行实验之前，需要准备好实验用的硬件和软件环境。硬件环境...
集成学习工具箱-matlab
06-24
Ensemble Learning Toolbox
泛微E-cology8.0 集成中心-数据展现集成.pptx
12-13
数据展现集成就是通过浏览按钮、查询页面的方式展示外部数据源的数据，常被用作自定义浏览框的设置和自定义查询菜单的设置。
flinkx部署
weixin_38251332的博客
04-19 515
flink flink 版本：flink-1.10.1 flink部署目录: /data/flink/flink-1.10.1 flinkx flinkx基于flink做的开源数据集成服务，目前改名DTStack flinkx 版本：flinkx_1.10 部署目录: /data/flinkx/flinkx_1.10 flinkx插件分发脚本 需要分发到所有yarn nodemanager节点 #!/bin/bash env #flinkx_deploy.sh YARN_HOSTS=bdphdp01,bd
Flink 通过Web UI 提交任务
godelgnis的博客
05-11 4584
【Flink实战系列】Flink web UI 的使用介绍
热门推荐
JasonLee实时计算
04-01 3万+
最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下: flink run -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/b...
【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId
一只皮皮熊
03-19 634
文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148 最近准备再花点时间优化一下之前的FlinkX版本，特地去看了一下项目的issues区域，发现两个自己比较关注的issue。 issue详情 reader和writer的通道数不一致 异构数据源reader和writer设置不同的Parallelism数#...
首次尝试Flink的一些感受
qianfeng_dashuju的博客
07-05 847
　　最近打算研究研究 Flink，根据官方文档写个 Hello,World。入门还是比较容易的，不需要复杂的安装环境、配置。这篇文章简单介绍 Flink 的使用感受以及入门。 　　感受 　　搭建环境方便：Flink 可以在 Windows 下运行与开发。对于喜欢 Windows 下开发的人，可以免去搭建虚拟机的成本。并且不依赖其他框架，本地环境搭建简单。这点很关键，许多人学习框架都放弃在了环境...
flinkx架构
wjandy0211的博客
11-06 2036
FlinkX是在袋鼠云内部广泛使用的一个基于Flink的异构数据源离线同步工具，用于在多种数据源（MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Elasticsearch等）之间进行高效稳定的数据同步。 FlinkX简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的配置，FlinkX会将配置转化为Flink任务，并自动提交到Flink集群上执行。...
one-fox集成工具箱使用说明
11-29
下面是一般情况下one-fox集成工具箱的使用说明。 首先，用户需要在电脑上下载并安装one-fox集成工具箱的应用程序。安装完成后，用户可以根据自己的需求进行登录或注册账号。 进入界面后，用户可以看到工具箱的各种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北慕辰

你的鼓励是小北最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值