flinkx初探

最新推荐文章于 2023-11-05 23:47:35 发布
最新推荐文章于 2023-11-05 23:47:35 发布
阅读量290 收藏
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/victory0508/article/details/113355356
版权

1. 下载

proxychains4 wget https://github.com/DTStack/flinkx/releases/download/1.10.4/flinkx.7z

2. 解压

sudo yum -y install p7zip
7za x flinkx.7z

3.运行例子

bin/flinkx -mode local -job docs/example/stream_stream.json -pluginRoot syncplugins

4.发现的问题

4.1 BLOB server at 0.0.0.0:37554

blob server端口随机，在配置文件中确定 6124

4.2 FlinkException: The TaskExecutor is shutting down

升级jdk版本，jdk1.8.0_271，无效

victory0508
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flinkX快速启动
wushuoyouting的博客
05-26 267
在flinkx启动之前，请提前安装git，maven，mysql(已同步mysql为例)。 windows安装提前安装好jdk和maven 下载代码 1.使用git工具把项目clone到本地，或者直接下载flinkx-1.8.5.zip git clone https://github.com/DTStack/flinkx.git cd flinkx 2.直接下载源码 wget https://github.com/DTStack/flinkx/archive/1.8.5.zip unzip
数据集成工具——FlinkX
友培的博客
01-29 1086
文章目录FlinkX的安装与简单使用1、FlinkX的安装1）、上传并解压2）、配置环境变量3）、给bin/flinkx这个文件加上执行权限4）、修改配置文件，设置运行端口2、FlinkX的简单使用1）、MySQLToHDFS2）、MySQLToHive3）、MySQLToHBase FlinkX的安装与简单使用 1、FlinkX的安装 1）、上传并解压 unzip flinkx-1.10.zip -d /usr/local/soft/ 2）、配置环境变量 3）、给bin/flinkx这个文件加上执行权限
FlinkX--基于flink的分布式数据同步工具
热门推荐
HuFeiHu
02-07 2万+
GitHub地址：https://github.com/DTStack/flinkx.git 1 什么是FlinkX FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为...
Flinkx
justsomebody126的专栏
08-25 1046
架构 基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件（Source），不同的数据目标被抽象成不同的Writer插件（Sink）。 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。 所有任务被包装成 job 提交给 Flink 运行，流处理。 支持任务类型 全量传输 关系型数据库实时增量（读取 binlog） 间隔轮询（定时，可只针对增量） 基本原理 Flinkx 本质是一个.
FlinkX—批流统一的高效数据同步插件
袋鼠云的博客
11-12 4743
什么是FlinkX？ FlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾）。并于今年6年份，完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。 FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成不...
Spark初探
02-26
Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。...Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，...
nginx平台初探
03-03
众所周知，nginx性能高，而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢？这一节我们先来初识一下nginx框架吧。nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master...
centos7安装flink集群_一文搞懂 FlinkX，基于flink的分布式数据同步工具
weixin_39736007的博客
11-22 229
1 什么是FlinkXFlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。2 工作原理在底层实现上，...
flinkx:基于flink的分布式数据同步工具
05-10
FlinkX | 中文 技术交流 招聘Flink研发工程师，如果有兴趣可以联系思枢（微信号：ysqwhiletrue） Flink开发工程师JD要求： 1.负责袋鼠云基于Flink的衍生框架数据同步flinkx和实时计算flinkstreamsql框架的开发； 2.调研和把握当前最新大数据实时计算技术，将其中的合适技术引入到平台中，改善产品，提升竞争力； 职位要求： 1、本科及以上学历，3年及以上的Flink开发经验，精通Java，熟悉Scala、Python优先考虑； 2、熟悉Flink原理，有基于Flink做过二次源码的开发，在github上贡献者Flink源码者优先； 3、有机器学习、数据挖掘相关经验者优先； 4、对新技术有快速学习和上手能力，对代码有一定的洁癖； 加分项： 1.在GitHub或其他平台上有过开源项目 可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发
Flink1.6.X 源码
11-01
Flink1.6.X 官方源码，摘自gitlab2018-11-01。用于交流学习
flinkx源码学习
huochefei的博客
06-08 441
目录1.flinkx是什么2.flinkx有什么优点3.flinkx能干什么4.flinkx的模块架构flinkx是袋鼠云的开山作，这里学习的版本是1.12，现在叫chunjun（纯钧），是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具，是一站式大数据开发平台-数栈DTinsight的核心实时计算引擎，是基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。...
flinkx架构
wjandy0211的博客
11-06 2044
FlinkX是在袋鼠云内部广泛使用的一个基于Flink的异构数据源离线同步工具，用于在多种数据源（MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Elasticsearch等）之间进行高效稳定的数据同步。 FlinkX简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的配置，FlinkX会将配置转化为Flink任务，并自动提交到Flink集群上执行。...
数据集成框架FlinkX（纯钧）入门
最新发布
阿甘兄
11-05 1275
FlinkX数据集成框架入门
flinkx基础学习
weixin_50665144的博客
12-08 1054
测试用例汇总 测试 配置 操作 测试结果 自动创建表（mysql） mysqltomysql.json 执行任务脚本 无法自动创建目标表，任务运行报错 自动创建表（hive） mysqltohive.json 执行任务脚本 自动创建目标表成功，同时可以指定分区 采集多表 mysqltomysqls.json 执行任务脚本 不支持采集多表，同时不支持写入多表 全量采集(mysql数据源到hdfs目标源) mysqltohdfs.json 执行任务脚本 采集成功 根据id增量采集
flinkx部署
weixin_38251332的博客
04-19 524
flink flink 版本：flink-1.10.1 flink部署目录: /data/flink/flink-1.10.1 flinkx flinkx基于flink做的开源数据集成服务，目前改名DTStack flinkx 版本：flinkx_1.10 部署目录: /data/flinkx/flinkx_1.10 flinkx插件分发脚本 需要分发到所有yarn nodemanager节点 #!/bin/bash env #flinkx_deploy.sh YARN_HOSTS=bdphdp01,bd
flinkx成长之旅
fanliunian的博客
08-14 217
flinkx类图,能够看懂这张图,就掌握了90%flinkx内容了
Flinkx的安装和使用
qq_45992615的博客
12-07 3066
文章目录1、Flinkx的简介2、FlinkX的安装与简单使用2.1 FlinkX的安装2.2 FlinkX的简单使用MySQLToHDFSMySQLToHiveMySQLToHBaseMySQLToMySQL 1、Flinkx的简介 FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值