Flinkx的安装和使用

最新推荐文章于 2024-01-29 21:18:14 发布
最新推荐文章于 2024-01-29 21:18:14 发布
阅读量3k 收藏 6
点赞数 1
文章标签： mysql hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45992615/article/details/121778833
版权

文章目录

1、Flinkx的简介

FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。
不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。

2、FlinkX的安装与简单使用

2.1 FlinkX的安装

注意：安装包直接从flinkx的官网下载即可

安装unzip：yum install unzip

2.1.1、上传并解压

unzip flinkx-1.10.zip -d /usr/local/soft/

2.1.2、配置环境变量

export FLINKX_HOME=/usr/local/soft/flinkx-1.10
export PATH=$PATH:$FLINKX_HOME/bin

source /etc/profile

2.1.3、给bin/flinkx这个文件加上执行权限

chmod a+x flinkx

2.1.4、修改配置文件，设置运行端口

vim flinkconf/flink-conf.yaml

## web服务端口，不指定的话会随机生成一个
rest.bind-port: 8888

2.2 FlinkX的简单使用

MySQLToHDFS

注：将mysql中的student库中的student表中的数据传入到hdfs上

  • 配置文件
{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student?characterEncoding=utf8"
                                ],
                                "table": [
                                    "student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "customSql": "",
                        "where": "clazz = '理科二班'",
                        "splitPk": "",
                        "queryTimeOut": 1000,
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "path": "hdfs://master:9000/data/flinkx/student",
                        "defaultFS": "hdfs://master:9000",
                        "column": [
                            {
                                "name": "col1",
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "name": "col2",
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "name": "col3",
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "name": "col4",
                                "index": 3,
                                "type": "string"
                            },
                            {
                                "name": "col5",
                                "index": 4,
                                "type": "string"
                            },
                            {
                                "name": "col6",
                                "index": 5,
                                "type": "string"
                            }
                        ],
                        "fieldDelimiter": ",",
                        "fileType": "text",
                        "writeMode": "overwrite"
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 1
            }
        }
    }
}
  • 启动任务
flinkx -mode local -job /usr/local/soft/flinkx-1.10/jsonConf/mysqlToHDFS.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/
  • 监听日志

flinkx 任务启动后，会在执行命令的目录下生成一个nohup.out文件

tail -f nohup.out
  • 通过web界面查看任务运行情况（在运行时存在）
http://master:8888

MySQLToHive

注：将mysql中的已经存在的表数据传入到hive的表中（提前建好表）

  • 配置文件
{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student?characterEncoding=utf8"
                                ],
                                "table": [
                                    "student"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "customSql": "",
                        "where": "clazz = '文科二班'",
                        "splitPk": "id",
                        "queryTimeOut": 1000,
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hivewriter",
                    "parameter": {
                        "jdbcUrl": "jdbc:hive2://master:10000/testflinkx",
                        "username": "",
                        "password": "",
                        "fileType": "text",
                        "fieldDelimiter": ",",
                        "writeMode": "overwrite",
                        "compress": "",
                        "charsetName": "UTF-8",
                        "maxFileSize": 1073741824,
                        "tablesColumn": "{\"student\":[{\"key\":\"id\",\"type\":\"string\"},{\"key\":\"name\",\"type\":\"string\"},{\"key\":\"age\",\"type\":\"string\"}]}",
                        "defaultFS": "hdfs://master:9000"
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 3
            }
        }
    }
}
  • 在hive中创建testflinkx数据库，并创建student分区表
create database testflinkx;
use testflinkx;
CREATE TABLE `student`(
  `id` string, 
  `name` string, 
  `age` string,
  `clazz` string)
PARTITIONED BY ( 
  `pt` string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ','
  • 启动hiveserver2
# 第一种方式：
hiveserver2
# 第二种方式:
hive --service hiveserver2
  • 启动任务
flinkx -mode local -job /usr/local/soft/flinkx-1.10/jsonConf/mysqlToHive.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/
  • 查看日志及运行情况同上

MySQLToHBase

  • 配置文件
{
    "job": {
        "content": [
            {
                "reader": {
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/test?characterEncoding=utf8"
                                ],
                                "table": [
                                    "score"
                                ]
                            }
                        ],
                        "column": [
                            "*"
                        ],
                        "customSql": "",
                        "splitPk": "student_id",
                        "queryTimeOut": 1000,
                        "requestAccumulatorInterval": 2
                    },
                    "name": "mysqlreader"
                },
                "writer": {
                    "name": "hbasewriter",
                    "parameter": {
                        "hbaseConfig": {
                            "hbase.zookeeper.property.clientPort": "2181",
                            "hbase.rootdir": "hdfs://master:9000/hbase",
                            "hbase.cluster.distributed": "true",
                            "hbase.zookeeper.quorum": "master,node1,node2",
                            "zookeeper.znode.parent": "/hbase"
                        },
                        "table": "testFlinkx",
                        "rowkeyColumn": "$(cf1:student_id)_$(cf1:course_id)",
                        "column": [
                            {
                                "name": "cf1:student_id",
                                "type": "string"
                            },
                            {
                                "name": "cf1:course_id",
                                "type": "string"
                            },
                            {
                                "name": "cf1:score",
                                "type": "string"
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "restore": {
                "isRestore": false,
                "isStream": false
            },
            "errorLimit": {},
            "speed": {
                "channel": 3
            }
        }
    }
}
  • 启动hbase 并创建testflinkx表
create 'testFlinkx','cf1'
  • 启动任务
flinkx -mode local -job /usr/local/soft/flinkx-1.10/jsonConf/mysqlToHBase.json -pluginRoot /usr/local/soft/flinkx-1.10/syncplugins/ -flinkconf /usr/local/soft/flinkx-1.10/flinkconf/
  • 查看日志及运行情况同上

MySQLToMySQL

说明：student库下的student表中的数据传到student库中的student2的表中，要先建立student2 的表

  • 配置文件
{
    "job": {
      "content": [
        {
          "reader": {
            "name": "mysqlreader",
            "parameter": {
              "column": [
                {
                  "name": "id",
                  "type": "int"
                },
                {
                  "name": "name",
                  "type": "string"
                },
                {
                  "name": "age",
                  "type": "int"
                },
                {
                  "name": "gender",
                  "type": "string"
                },
                {
                  "name": "clazz",
                  "type": "string"
                }
              ],
              "username": "root",
              "password": "123456",
              "connection": [
                {
                  "jdbcUrl": [
                    "jdbc:mysql://master:3306/student?characterEncoding=utf8"
                  ],
                  "table": [
                    "student"
                  ]
                }
              ]
            }
          },
          "writer": {
            "name": "mysqlwriter",
            "parameter": {
              "username": "root",
              "password": "123456",
              "connection": [
                {
                  "jdbcUrl": "jdbc:mysql://master:3306/student?characterEncoding=utf8",
                  "table": [
                    "student2"
                  ]
                }
              ],
              "writeMode": "insert",
              "column": [
                {
                    "name": "id",
                    "type": "int"
                  },
                  {
                    "name": "name",
                    "type": "string"
                  },
                  {
                    "name": "age",
                    "type": "int"
                  },
                  {
                    "name": "gender",
                    "type": "string"
                  },
                  {
                    "name": "clazz",
                    "type": "string"
                  }
              ]
            }
          }
        }
      ],
      "setting": {
        "speed": {
          "channel": 1,
          "bytes": 0
        }
      }
    }
  }
努力成为咸鱼
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2024年最全01-Flink安装部署及入门案例（仅供学习）
2401_84166327的博客
05-03 1026
转换二元组：(spark, 1) (flink, 1) (spark, 1)， TODO：Flink Java API中提供元组类Tuple。-m：指定需要连接的jobmanager(主节点)地址，指定为 yarn-cluster，启动一个新的yarn-session。分组：spark -> [(spark, 1), (spark, 1)] flink -> [(flink, 1)]上传软件包：flink-1.13.1-bin-scala_2.11.tgz。-jm：JobManager的内存（单位MB)
Flink安装及使用
crazy_scott的博客
12-04 4160
本地部署 安装 在官网安装Flink，并解压到/usr/local/flink sudo tar -zxf flink-1.6.2-bin-hadoop27-scala_2.11.tgz -C /usr/local cd /usr/local 修改文件名字，并设置权限 sudo mv ./flink-*/ ./flink sudo chown -R hadoop:had...
FlinkX简介（什么是FlinkX？）
justlpf的专栏
04-20 3063
当产生业务数据或Flink程序引起的采集进程中断时，可基于Flink定期存储的快照，对流数据的读取节点进行保存，从而在进行故障修复时，可选择历史保存的数据断点进行续跑操作，保证数据的完整性。主要应用于大数据开发平台的数据同步/数据集成模块，通常采用将底层高效的同步插件和界面化的配置方式相结合的方式，使大数据开发人员可简洁、快速的完成数据同步任务开发，实现将业务数据库的数据同步至大数据存储平台，从而进行数据建模开发，以及数据开发完成后，将大数据处理好的结果数据同步至业务的应用数据库，供企业数据业务使用。
Flinkx/Datax/Flink-CDC 优劣势对比
HiBoyljw的博客
08-02 1万+
一、FlinkX简介 FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。FlinkX目前包含下面这些特性： ● 大部分插件支持并发读写数据，可以大幅度提高读写速度； ● 部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复 ● 关系数据库的Reader插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询 ● 部分数据库支持开启Kerberos安全认证
FlinkX的安装与使用（异构数据同步工具——flinkx）
justlpf的专栏
04-20 995
FlinkX是由袋鼠云开源基于Flink的分布式离线和实时相结合的数据同步框架，既可以采集静态的数据比如：MYSQL,HDFS等，也可以采集实时变化的数据比如：等。目前官方已经支持多种异构数据源之间高效的数据同步。
数据集成工具之FlinkX的安装与使用
糊里糊涂走进大数据的小菜鸡
12-08 3490
FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。
FlinkX--基于flink的分布式数据同步工具
热门推荐
HuFeiHu
02-07 2万+
GitHub地址：https://github.com/DTStack/flinkx.git 1 什么是FlinkX FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为...
CteX的安装和使用
liupc的学习笔记
05-27 1700
一、下载 下载网址 http://www.ctex.org/CTeXDownload 下载后为： ...
flinkx的编译资源
11-30
FlinkX是大数据生态中的一款数据同步工具，主要用于在不同数据源之间进行高效的数据迁移和交换。它基于Apache Flink构建，充分利用了Flink的流处理能力，支持实时和批处理两种模式的数据传输。FlinkX的设计理念是...
flinkx-1.10-sqoop-1.4.7.zip
12-07
用户可以通过解压此文件来安装和配置Sqoop，以便在Hadoop集群上使用。 2. **flinkx-1.10.zip**：这是FlinkX 1.10版本的压缩包，用户可以通过解压获取FlinkX的源代码、库文件和其他相关资源，然后根据需求进行编译和...
flinkx.zip安装包
07-07
下面我们将详细探讨FlinkX的安装过程以及其核心功能和应用场景。 一、FlinkX安装步骤 1. 下载与解压：首先，你需要下载`flinkx.zip`安装包，这通常可以从FlinkX的官方网站或者开源社区获取。下载完成后，使用解压...
flinkx:基于flink的分布式数据同步工具
05-10
FlinkX | 中文 技术交流 招聘Flink研发工程师，如果有兴趣可以联系思枢（微信号：ysqwhiletrue） Flink开发工程师JD要求： 1.负责袋鼠云基于Flink的衍生框架数据同步flinkx和实时计算flinkstreamsql框架的开发； 2.调研和把握当前最新大数据实时计算技术，将其中的合适技术引入到平台中，改善产品，提升竞争力； 职位要求： 1、本科及以上学历，3年及以上的Flink开发经验，精通Java，熟悉Scala、Python优先考虑； 2、熟悉Flink原理，有基于Flink做过二次源码的开发，在github上贡献者Flink源码者优先； 3、有机器学习、数据挖掘相关经验者优先； 4、对新技术有快速学习和上手能力，对代码有一定的洁癖； 加分项： 1.在GitHub或其他平台上有过开源项目 可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发
数据集成框架FlinkX（纯钧）入门
阿甘兄
11-05 1148
FlinkX数据集成框架入门
纯钧（ChunJun，原名FlinkX）框架学习
chimchim66的博客
09-15 8212
纯钧（ChunJun，原名FlinkX）框架学习
Flink的官网简述
weixin_39868387的博客
03-04 2168
1、flink-无界数据集-有界数据集 针对无界数据持久化计算 数据源源不断产生的，就是流水一样。 数据类型 无界：不断产生数据 有界：最终，不再改变的数据集 2、flink-两种执行模型 执行模型 两种执行模型分别是：流计算、批处理 流计算：数据不断产生，就一直处于计算状态 批处理：完成一定时间段的计算任务后，释放资源 3、flink的特征 结果准确，即使是无序数据或者延迟...
【FlinkX】数据同步工具的研究与实践
一只皮皮熊
12-12 2444
文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) Flink checkpoint机制3) MySQL同步时的断点续传4) 断点续传不是万能的三、开发一...
【聊一聊FlinkX框架及其应用】
最新发布
m0_52287246的博客
01-29 957
浅聊FlinkX
flinkx-1.12 下载
08-22
FlinkX-1.12是Apache Flink的一个重要版本，它是开源的大数据集群计算框架。下面将介绍有关如何下载FlinkX-1.12。 首先，要下载FlinkX-1.12，你可以访问Apache Flink的官方网站（https://flink.apache.org/）。在该网站上，你可以找到FlinkX-1.12版本的下载链接。 点击下载链接后，你将被重定向到一个页面，其中包含FlinkX-1.12的下载地址。你可以选择合适的方式下载，比如使用命令行工具（如wget或curl），或者使用浏览器下载。选择合适的下载方式并进行下载。 下载完成后，你将得到一个压缩文件，其中包含FlinkX-1.12的源代码和其他相关文件。解压缩文件，你将得到FlinkX-1.12的目录。 在FlinkX-1.12目录中，你可以找到各种用于配置和运行FlinkX-1.12的文件，比如flink-conf.yaml和flinkx-conf.properties。你可以根据自己的需求进行配置。 此外，FlinkX-1.12还提供了丰富的文档和示例代码，可以帮助你更好地了解和使用该版本。你可以在官方网站上找到文档和示例代码的链接。 总之，在下载FlinkX-1.12之后，你将获得一个强大的数据处理工具，它可以帮助你处理和分析大规模的数据集。你可以根据自己的需要进行配置和使用，利用FlinkX-1.12来解决各种大数据计算问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值