flinkx
吃素的哈士奇
这个用户 很懒 什么都没留下。。。
展开
-
flinkx抛出异常的情况下(脏数据),怎么结束这个flinkx的进程
因为处理脏数据的问题类BaseRichOutputFormat类BaseRichOutputFormat原创 2021-07-15 14:45:00 · 334 阅读 · 0 评论 -
地址问题!!!D:\FLINKX\flinkx\logs\ 和 D:\FLINKX\flinkx\logs
关于地址注意一定要加上“\”注意一定要加上“\”下面展示一些 内联代码片。// 不加上就相当于多一个前缀// public static final String DEFAULT_PATH = "/tmp/dtstack/flinkx/";public static final String DEFAULT_PATH = "D:\\FLINKX\\flinkx\\logs\\";...原创 2021-07-02 15:11:09 · 60 阅读 · 0 评论 -
为什么Flinkx抛出异常后就不在打印结果集!?(解析)
结果集长什么样子结果集是在什么地方打印的Main类的main方法里面if(env instanceof MyLocalStreamEnvironment){ ResultPrintUtil.printResult(result);}打印方法// An highlighted blockResultPrintUtil.printResult(result);结果集数据是从什么地方来的flinkx解析完json之后其实就是交给flink执行了,调用了flink的jar包进行下一步原创 2021-06-29 17:47:41 · 289 阅读 · 0 评论 -
Flinkx的启动以及运转流程,从哪个类到哪个类(小白版)
Flinkx的启动以及运转流程启动类package com.dtstack.flinkx.launcher;Main类里面的main方法各种用到的类LauncherMainMyLocalStreamEnvironment启动类package com.dtstack.flinkx.launcher;local模式启动要经过main方法com.dtstack.flinkx.Main.main(localArgs);Main类里面的main方法找到运行的方法JobExecutionResult原创 2021-06-29 17:07:14 · 578 阅读 · 0 评论 -
(袋鼠云)Flinkx怎么启动,小白必看!!!网上都是傻逼启动命令(只会复制粘贴的傻逼们)!!!
启动命令注意事项!!!注意事项!!!1.千万不要简单的复制网上的shell命令,复制下来的文件格式是windows的,需要转成·2.网上的那些shell命令没有命令前缀命令前缀 /bin/bash,网上全都没有命令前缀,都会报,找不到文件路径!!!/bin/bash /opt/soft/flinkx/bin/flinkx \ -mode local \ -job /opt/soft/flinkx/job/stream.json \ -pluginRoot /opt/soft/flinkx/pl原创 2021-06-21 18:05:28 · 332 阅读 · 0 评论 -
2021-06-11,flinkx 实时数据采集 mysql binlog
flinkx 实时数据采集 mysql binlogBinlog插件基本原理Binlog插件基本原理实时采集插件的核心是如何实时捕获数据库数据的变更,对于MySQL数据库而言,阿里开源的Canal已经很好的帮我们实现了基于MySQL数据库增量日志解析,提供增量数据订阅和消费功能。因此这里我们直接用Canal捕获MySQL数据库数据的变更信息,基于FlinkX框架将任务简化成脚本的配置,基于Flink的Checkpoint机制提供了任务的故障恢复,提高了任务的容错性。基本步骤如下:任务启动时启动Can原创 2021-06-11 10:41:33 · 1201 阅读 · 2 评论