FlinkX学习

最新推荐文章于 2024-06-29 15:39:50 发布
最新推荐文章于 2024-06-29 15:39:50 发布
阅读量675 收藏 8
点赞数 24
文章标签： 学习 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46935426/article/details/139979959
版权

FlinkX学习

FlinkX安装

由于flinkx已经改名chunjun 官网已不存在

(https://gitee.com/lugela/flinkx#flinkx)这里可以看到flinkx的操作文档

1、上传并解压

unzip flinkx-1.10.zip -d /usr/local/soft/

2、配置环境变量

FLINKX_HOME=/usr/local/soft/flinkx-1.10
export PATH=$FLINKX_HOME/bin:$PATH

3、给bin/flinkx这个文件加上执行权限

 chmod +x flinkx

4、修改配置文件，设置运行端口

vim flinkconf/flink-conf.yaml

## web服务端口，不指定的话会随机生成一个
rest.bind-port: 8888

启动

命令行参数选项

  • model
    • 描述：执行模式，也就是flink集群的工作模式
      • local: 本地模式
      • standalone: 独立部署模式的flink集群
      • yarn: yarn模式的flink集群，需要提前在yarn上启动一个flink session，使用默认名称"Flink session cluster"
      • yarnPer: yarn模式的flink集群，单独为当前任务启动一个flink session，使用默认名称"Flink per-job cluster"
    • 必选：否
    • 默认值：local
  • job
    • 描述：数据同步任务描述文件的存放路径；该描述文件中使用json字符串存放任务信息。
    • 必选：是
    • 默认值：无
  • pluginRoot
    • 描述：插件根目录地址，也就是打包后产生的pluginRoot目录。
    • 必选：是
    • 默认值：无
  • flinkconf
    • 描述：flink配置文件所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.8.1/conf
    • 必选：否
    • 默认值：无
  • yarnconf
    • 描述：Hadoop配置文件（包括hdfs和yarn）所在的目录（单机模式下不需要），如/hadoop/etc/hadoop
    • 必选：否
    • 默认值：无
  • flinkLibJar
    • 描述：flink lib所在的目录（单机模式下不需要），如/opt/dtstack/flink-1.8.1/lib
    • 必选：否
    • 默认值：无
  • confProp
    • 描述：flink相关参数，如{“flink.checkpoint.interval”:200000}
    • 必选：否
    • 默认值：无
  • queue
    • 描述：yarn队列，如default
    • 必选：否
    • 默认值：无
  • pluginLoadMode
    • 描述：yarnPer模式插件加载方式：
      • classpath：提交任务时不上传插件包，需要在yarn-node节点pluginRoot目录下部署插件包，但任务启动速度较快
      • shipfile：提交任务时上传pluginRoot目录下部署插件包的插件包，yarn-node节点不需要部署插件包，任务启动速度取决于插件包的大小及网络环境
    • 必选：否
    • 默认值：classpath

FlinkX概述

FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。

不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

FlinkX是一个基于Flink的批流统一体的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等

在底层实现上，FlinkX依赖Flink，数据同步任务会被翻译成StreamGraph在Flink上执行.

image-20220619223533456.png

FlinkX的简单使用

MySQL2HDFS

场景

将mysql Y1数据库下的Student表数据写入HDFS上的指定路径中

参考文档

mysqlreader:(https://gitee.com/lugela/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.md)

hdfswriter：(https://gitee.com/lugela/flinkx/blob/1.10_release/docs/offline/writer/hdfswriter.md)

创建mysql2hdfs.json文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/Y1?useUnicode=true&characterEncoding=utf8&useSSL=false"
                                ],
                                "table": [
                                    "Student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "where": "Sid > 05 ",
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "path": "hdfs://master:9000/bigdata30/flinkx/out1",
                        "defaultFS": "hdfs://master:9000",
                        "column": [
                            {
                                "name": "col1",
                                "index": 0,
                                "type": "string"
                            },{
                                "name": "col2",
                                "index": 1,
                                "type": "string"
                            },{
                                "name": "col3",
                                "index": 2,
                                "type": "string"
                            },{
                                "name": "col4",
                                "index": 3,
                                "type": "string"
                            }
                        ],
                        "fieldDelimiter": ",",
                        "fileType": "text",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 1
            }
        }
    }
}

运行模式

  • 单机模式：对应Flink集群的单机模式
  • standalone模式：对应Flink集群的分布式模式
  • yarn模式：对应Flink集群的yarn模式
  • yarnPer模式: 对应Flink集群的Per-job模式

运行：

flinkx -mode local -job ./mysql2hdfs.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

监听日志：

flinkx 任务启动后，会在执行命令的目录下生成一个nohup.out文件

tail -f nohup.out

通过web界面查看任务运行情况

http://master:8888

hdfs上出现文件：

image.png

查看该文件：

hdfs dfs -cat /bigdata30/flinkx/out1/0.44b7d6c8dcaadcc14ae55fb482f9fb27.0

出现Sid大于05的学生：

image.png

MySQLToHive

hivewrite:(https://github.com/oceanos/flinkx/blob/1.8_release/docs/hivewriter.md)

配置文件：

{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/Y1?useUnicode=true&characterEncoding=utf8&useSSL=false"
                                ],
                                "table": [
                                    "Student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "where": "Sid > 05 ",
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hivewriter",
                    "parameter": {
                        "jdbcUrl": "jdbc:hive2://master:10000/bigdata30",
                        "username": "",
                        "password": "",
                        "fileType": "text",
                        "fieldDelimiter": ",",
                        "writeMode": "overwrite",
                        "compress": "",
                        "charsetName": "UTF-8",
                        "maxFileSize": 1073741824,
                        "tablesColumn": "{\"Student\":[{\"key\":\"SId\",\"type\":\"string\"},{\"key\":\"Sname\",\"type\":\"string\"},{\"key\":\"Sage\",\"type\":\"string\"},{\"key\":\"Ssex\",\"type\":\"string\"}]}",
                        "defaultFS": "hdfs://master:9000"
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 1
            }
        }
    }
}

在hive中建表：

CREATE TABLE `bigdata30`.`Student`(
    `SId` STRING,
    `Sname` STRING,
    `Sage` STRING,
    `Ssex` STRING
				)
PARTITIONED BY ( 
  `pt` string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ',';

启动hiveserver2

启动任务

flinkx -mode local -job ./mysql2hive.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

运行发现报错 无法解决。

翻阅chunjun官网 在hive-sink中发现 只支持hive1.x hive2.x 现hive版本为3.1.2 不支持 猜测报错原因

尝试使用chunjun 解决

MySQLToHBase

场景

将mysql Y1数据库中的Student表数据写入HBase flinkx_Student表中

配置文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/Y1?useUnicode=true&characterEncoding=utf8&useSSL=false"
                                ],
                                "table": [
                                    "Student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "where": "Sid > 05 ",
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hbasewriter",
                    "parameter": {
                        "hbaseConfig": {
                            "hbase.zookeeper.property.clientPort": "2181",
                            "hbase.rootdir": "hdfs://master:9000/hbase",
                            "hbase.cluster.distributed": "true",
                            "hbase.zookeeper.quorum": "master,node1,node2",
                            "zookeeper.znode.parent": "/hbase"
                        },
                        "table": "flinkx_Student",
                        "rowkeyColumn": "$(cf1:SId)",
                        "column": [
                            {
                                "name": "cf1:SId",
                                "type": "string"
                            },
                            {
                                "name": "cf1:Sname",
                                "type": "string"
                            },
                            {
                                "name": "cf1:Sage",
                                "type": "string"
                            },
                            {
                                "name": "cf1:Ssex",
                                "type": "string"
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 1
            }
        }
    }
}

在hbase中创建flinkx_Student表

create 'flinkx_Student','cf1'

启动

flinkx -mode local -job ./mysql2hbase.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

hbase中的flinkx_Student表出现数据

image.png

MySQLToMySQL

场景

将mysql Y1数据库中的Student表数据写入datax1数据库中的Student2表中

配置文件 mysql2mysql.json

{
    "job": {
      "content": [
        {
          "reader": {
            "name": "mysqlreader",
            "parameter": {
              "column": [
                {
                  "name": "SId",
                  "type": "string"
                },
                {
                  "name": "Sname",
                  "type": "string"
                },
                {
                  "name": "Sage",
                  "type": "string"
                },
                {
                  "name": "Ssex",
                  "type": "string"
                }
              ],
              "username": "root",
              "password": "123456",
              "connection": [
                {
                  "jdbcUrl": [
                    "jdbc:mysql://master:3306/Y1?useSSL=false"
                  ],
                  "table": [
                    "Student"
                  ]
                }
              ]
            }
          },
          "writer": {
            "name": "mysqlwriter",
            "parameter": {
              "username": "root",
              "password": "123456",
              "connection": [
                {
                  "jdbcUrl": "jdbc:mysql://master:3306/datax1?useSSL=false",
                  "table": [
                    "Student2"
                  ]
                }
              ],
              "writeMode": "insert",
              "column": [
                {
                    "name": "SId",
                    "type": "string"
                  },
                  {
                    "name": "Sname",
                    "type": "string"
                  },
                  {
                    "name": "Sage",
                    "type": "string"
                  },
                  {
                    "name": "Ssex",
                    "type": "string"
                  }
              ]
            }
          }
        }
      ],
      "setting": {
        "speed": {
          "channel": 1,
          "bytes": 0
        }
      }
    }
  }

在mysql datax1数据库中建表：

create table if not exists datax1.Student2(
    SID varchar(10),
    Sname varchar(100),
    Sage varchar(100),
    Ssex varchar(10)
)CHARSET = utf8 COLLATE utf8_general_ci;

运行：

flinkx -mode local -job ./mysql2mysql.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/

进入网页查看：

master:8888

image.png

查看Student2表 数据已导入：

image.png
sunsetgaia
关注
  • 24
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flinkx的编译资源
11-30
flinkx
flinkx-1.10-sqoop-1.4.7.zip
12-07
FlinkX-1.10、Sqoop-1.4.7
flinkx.zip安装包
07-07
flinkx.zip安装包
flinkx:基于flink的分布式数据同步工具
03-15
FlinkX English | 沟通 我们正在招聘大数据平台开发工程师。 如果您想了解有关该职位的更多信息，请添加微信ID [ ysqwhiletrue ]或将您的简历通过电子邮件发送至 。 我们使用进行通信，您可以搜索群组号码[ ...
【自监督-MIM】系列方法学习二
Jeremy_lf的博客
06-24 904
Masked image modeling 是一种训练深度学习模型的技术，尤其是在视觉领域，类似于自然语言处理中的掩码语言建模（Masked Language Modeling）。它通过在输入图像中随机遮挡（或称为掩码）部分区域，然后训练模型来预测这些被遮挡部分的内容，从而提高模型的视觉理解能力。Masked image modeling 主要用于视觉自监督学习（Visual Self-Supervised Learning）任务，帮助模型学习图像的内在结构和表示，而无需依赖大量的标注数据。
安卓应用开发学习：获取经纬度及地理位置描述信息
bahamutj的博客
06-25 468
​ 前段时间，我在学习鸿蒙应用开发的过程中，在鸿蒙系统的手机上实现了获取经纬度及地理位置描述信息（鸿蒙应用开发学习：手机位置信息进阶，从经纬度数据获取地理位置描述信息）。反而学习时间更长的安卓应用开发还未实现获取经纬度及地理位置描述。这几天，我正在看《Android App 开发进阶与项目实战》一书，正好看到了第9章是讲定位导航的。这一章里正好有获取经纬度和详细地址的内容，随书还附带有源码。我照着做，很轻松的实现了用安卓手机获取经纬度和详细地址的功能。特此记录以备忘。
Java程序员学习Go开发Higress的WASM插件
BothSavage
06-26 702
tinygo@0.32+go@1.19无法在macos arm架构下打包。升级go@1.21再次打包提示unsafe.SliceData requires go1.20 or later。后放弃macos+arm，采用ubuntu+amd64打包，ubuntu打包也必须使用tinygo@0.28.1。0.32.0在ubuntu仍然提示unsupported GOOS/GOARCH pair wasip1/wasm。
Spring学习02-[Spring容器核心技术IOC学习]
Java修炼者的博客
06-25 430
IOC学习什么是bean? 什么是bean?
ARC学习（3）基本编程模型认识（三）
张一西的博客
06-23 916
笔者来介绍一下ARC的编程模型和异常模型
昇思25天学习打卡营第10天 | 基于MindNLP+MusicGen生成自己的个性化音乐
cftang9999的专栏
06-28 379
MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文《MusicGen直接使用谷歌的及其权重作为文本编码器模型，并使用及其权重作为音频压缩模型。MusicGen解码器是一个语言模型架构，针对音乐生成任务从零开始进行训练。MusicGen 模型的新颖之处在于音频代码的预测方式。
论文学习——一种自适应提升的动态多目标优化进化算法
最新发布
choudongxi的博客
06-29 514
很新奇的静态优化方法选择策略,在第一次静态优化时,分3个种群试验他的性能来选择合适的静态优化器,具体效果可能还是需要写出来再看看.环境变化以后如果非支配占总体少于70%就采用移动支配解向非支配解靠近并进行交叉变异正常环境响应就是随机把种群分成3分分别采用1.中心点预测(+一点高斯扰动)和2.使用记忆方法判断环境的相似程度以后采用预测方法3.使用遗传算子、多项式突变和高斯突变来保证种群的多样性.再根据静态优化时个体移动的距离来更新3个方法的使用的权重.很牛逼的创新点,因为方法都不难,为什么我脑袋空空.
Batch入门学习
嫦娥妹妹等等我的博客
06-27 249
以上内容为Batch脚本入门学习的基础知识，通过不断实践和探索，你可以熟练掌握并应用Batch脚本来自动化各种任务。- `@echo off`：关闭命令行回显，使脚本运行时不显示执行的命令。- 在脚本的不同部分使用`pause`命令暂停，以观察脚本的执行进程。Batch脚本的文件扩展名通常是`.bat`或`.cmd`。- `pause`：暂停脚本执行，等待用户按键。- `echo`：在命令行中输出文本。- `mkdir`：创建目录。- `rmdir`：删除目录。- `copy`：复制文件。
Gradle学习-3 Gradle插件
weixin_41733225的博客
06-27 275
主要介绍Gradle插件，其中包含二进制插件、脚本插件
JavaScript高级程序设计(第四版)--学习记录之集合引用类型（下）
Zwq8023520的博客
06-26 205
Map Map的基本API WeakMap WeakMap的基本API
2024.6.26 待学习知识点
月阴荒的博客
06-25 216
ABAP POPUP_TO_CONFIRM 弹出框函数。
【鸿蒙学习笔记】@Styles装饰器：定义组件重用样式
张紫娃的博客
06-29 127
Q&A] @Styles装饰器作用。
JavaScript高级程序设计(第四版)--学习记录之集合引用类型（上）
Zwq8023520的博客
06-25 752
从功能上讲两种存取属性的方法没有区别，使用中括号的主要优势就是可以通过变量访问属性。
《昇思25天学习打卡营第1天|基本介绍》
qq_52836452的博客
06-27 190
今天非常荣幸的收到了昇思25天学习打卡营的邀请。昇思MindSpore作为华为昇腾AI全栈的重要一员，他支持端、边、云独立的和协同的统一训练和推理框架，有着易于开发、执行效率高、全场景框架等多种特点，为昇腾AI全栈提供了有力的帮助。我将会在接下来的时间里去一步步的去深入了解昇思MindSpore这个全场景深度学习框架，并将我的学习心得分享与你。
昇思25天学习打卡营第4天|MindSpore快速入门-FCN图像语义分割
pblh123的专栏
06-27 1002
基于MindSpore进行FCN图像语义分割
flinkx-1.12 下载
08-22
FlinkX-1.12是Apache Flink的一个重要版本，它是开源的大数据集群计算框架。下面将介绍有关如何下载FlinkX-1.12。 首先，要下载FlinkX-1.12，你可以访问Apache Flink的官方网站（https://flink.apache.org/）。在该网站上，你可以找到FlinkX-1.12版本的下载链接。 点击下载链接后，你将被重定向到一个页面，其中包含FlinkX-1.12的下载地址。你可以选择合适的方式下载，比如使用命令行工具（如wget或curl），或者使用浏览器下载。选择合适的下载方式并进行下载。 下载完成后，你将得到一个压缩文件，其中包含FlinkX-1.12的源代码和其他相关文件。解压缩文件，你将得到FlinkX-1.12的目录。 在FlinkX-1.12目录中，你可以找到各种用于配置和运行FlinkX-1.12的文件，比如flink-conf.yaml和flinkx-conf.properties。你可以根据自己的需求进行配置。 此外，FlinkX-1.12还提供了丰富的文档和示例代码，可以帮助你更好地了解和使用该版本。你可以在官方网站上找到文档和示例代码的链接。 总之，在下载FlinkX-1.12之后，你将获得一个强大的数据处理工具，它可以帮助你处理和分析大规模的数据集。你可以根据自己的需要进行配置和使用，利用FlinkX-1.12来解决各种大数据计算问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值