flinkx使用指南

下载代码

1.使用git工具把项目clone到本地

git clone https://github.com/DTStack/flinkx.git
cd flinkx

2.直接下载源码

wget https://github.com/DTStack/flinkx/archive/1.8.5.zip
unzip flinkx-1.8.5.zip
cd flink-1.8.5

编译插件

mvn clean package -DskipTests

运行任务

首先准备要运行的任务json,这里以stream插件为例:

{
  "job" : {
    "content" : [ {
      "reader": {
        "name": "streamreader",
        "parameter": {
          "column": [
            {
              "name": "id",
              "type": "int"
            },
            {
              "name": "name",
              "type": "string"
            }
          ]
        }
      },
      "writer" : {
        "parameter" : {
          "print": false
        },
        "name" : "streamwriter"
      }
    } ],
    "setting" : {
      "restore" : {
        "isRestore" : false,
        "isStream" : false
      },
      "errorLimit" : {
      },
      "speed" : {
        "bytes" : 0,
        "channel" : 1,
        "rebalance" : true
      }
    }
  }
}

Local模式运行任务

命令模板:

bin/flinkx -mode local \
                     -job $FLINK_HOME/examples/stream_example.json \
           -pluginRoot $FLINK_HOME/plugins \
           -confProp "{\"flink.checkpoint.interval\":60000,\"flink.checkpoint.stateBackend\":\"/flink_checkpoint/\"}"

可以在flink的配置文件里配置端口:

## web服务端口,不指定的话会随机生成一个
rest.bind-port: 8888

使用下面的命令运行任务:

./bin/flinkx -job ./job/stream.json 
             -flinkconf $FLINK_HOME/conf

任务运行后可以通过8888端口访问flink界面查看任务运行情况:

Standalone模式运行

命令模板:

bin/flinkx -mode standalone \
           -job $FLINK_HOME/examples/stream_example.json \
           -pluginRoot $FLINK_HOME/plugins \
           -flinkconf $FLINK_HOME/conf \
           -confProp "{\"flink.checkpoint.interval\":60000,\"flink.checkpoint.stateBackend\":\"/flink_checkpoint/\"}"

首先启动flink集群:

# flink集群默认端口是8081
$FLINK_HOME/bin/start-cluster.sh

通过8081端口检查集群是否启动成功

把任务提交到集群上运行:

./bin/flinkx -mode standalone \
             -job ./job/stream.json \
             -flinkconf $FLINK_HOME/conf

在集群上查看任务运行情况

以Yarn Session模式运行任务

命令示例:

bin/flinkx -mode yarn \
           -job $FLINK_HOME/examples/stream_example.json \
           -pluginRoot $FLINK_HOME/plugins \
           -flinkconf $FLINK_HOME/conf \
           -yarnconf $HADOOP_HOME/etc/hadoop \
           -confProp "{\"flink.checkpoint.interval\":60000,\"flink.checkpoint.stateBackend\":\"/flink_checkpoint/\"}"

首先确保yarn集群是可用的,然后手动启动一个yarn session:

$FLINK_HOME/bin/yarn-session.sh -n 1 -s 2 -jm 1024 -tm 1024

把任务提交到这个yarn session上:

./bin/flinkx -mode yarn \
             -job ./job/stream.json \
             -flinkconf $FLINK_HOME/conf \
             -yarnconf $HADOOP_HOME/etc/hadoop

然后在flink界面查看任务运行情况:

以Yarn Perjob模式运行任务

命令示例:

bin/flinkx -mode yarnPer \
           -job ${FLINK_HOME}/examples/stream_example.json \
           -pluginRoot $FLINK_HOME/plugins \
           -flinkconf $FLINK_HOME/conf \
           -yarnconf $HADOOP_HOME/etc/hadoop \
           -flinkLibJar $FLINK_HOME/lib \
           -confProp "{\"flink.checkpoint.interval\":60000,\"flink.checkpoint.stateBackend\":\"/flink_checkpoint/\"}" \ 
           -queue default \
           -pluginLoadMode classpath

首先确保yarn集群是可用的,启动一个Yarn Application运行任务:

bin/flinkx -mode yarnPer \
           -job ./job/stream.json \
           -flinkconf $FLINK_HOME/conf \
           -yarnconf $HADOOP_HOME/etc/hadoop \
           -flinkLibJar $FLINK_HOME/lib \
           -pluginLoadMode classpath

然后在集群上查看任务运行情况

参数说明

名称说明可选值是否必填默认值
model执行模式,也就是flink集群的工作模式1.local: 本地模式
2.standalone: 独立部署模式的flink集群
3.yarn: yarn模式的flink集群,需要提前在yarn上启动一个flink session,使用默认名称"Flink session cluster"
4.yarnPer: yarn模式的flink集群,单独为当前任务启动一个flink session,使用默认名称"Flink per-job cluster"
local
job数据同步任务描述文件的存放路径;该描述文件中使用json字符串存放任务信息
jobid任务名称Flink Job
pluginRoot插件根目录地址,也就是打包后产生的pluginRoot目录。$FLINKX_HOME/plugins
flinkconfflink配置文件所在的目录(单机模式下不需要)$FLINK_HOME/conf$FLINK_HOME/conf
flinkLibJarflink lib所在的目录(单机模式下不需要),如/opt/dtstack/flink-1.8.1/lib$FLINK_HOME/lib$FLINK_HOME/lib
yarnconfHadoop配置文件(包括hdfs和yarn)所在的目录$HADOOP_HOME/etc/hadoop$HADOOP_HOME/etc/hadoop
queueyarn队列,如defaultdefault
pluginLoadModeyarn session模式插件加载方式1.classpath:提交任务时不上传插件包,需要在yarn-node节点pluginRoot目录下部署插件包,但任务启动速度较快
2.shipfile:提交任务时上传pluginRoot目录下部署插件包的插件包,yarn-node节点不需要部署插件包,任务启动速度取决于插件包的大小及网络环境
shipfile
confPropcheckpoint配置flink.checkpoint.interval:快照生产频率
flink.checkpoint.stateBackend:快照存储路径
scheckpoint快照路径

常见问题

1.编译找不到DB2、达梦、gbase、ojdbc8等驱动包

解决办法:在$FLINKX_HOME/jars目录下有这些驱动包,可以手动安装,也可以使用插件提供的脚本安装:

## windows平台
./install_jars.bat

## unix平台
./install_jars.sh
  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值