Flink安装启动

安装

1,下载flink安装包,下载地址:https://flink.apache.org/downloads.html

2,上传flink安装包到Linux服务器上并解压

tar -xvf flink-1.11.1-bin-scala_2.12.tgz -C ./

3,修改conf目录下的flink-conf.yaml配置文件

#指定jobmanager的地址
jobmanager.rpc.address: linux01
#指定taskmanager的可用槽位的数量
taskmanager.numberOfTaskSlots: 2

注意,:后面有一个空格

4,修改conf目录下的workers配置文件,指定taskmanager的所在节点

linux02
linux03

 5,将配置好的Flink拷贝到其他节点

scp -r flink-1.11.1/ linux02:$PWD

启动

1,执行启动脚本

bin/start-cluster.sh

2,jps命令查看主节点上StandaloneSessionClusterEntrypoint进程即JobManager,在其他的节点上可用看见到TaskManagerRunner 即TaskManager

3,访问JobManager的web管理界面,端口8081

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink是一款流处理框架,基于Java开发,采用分布式数据流和批处理模型,可以处理大量实时数据和海量数据。在使用Flink运行任务的时候,需要使用flink run命令来启动Flink集群并提交作业。flink run命令可以接受多个参数来控制Flink运行时的各项参数。以下是flink run启动参数的说明: 1. -c, --class:指定要执行的类名。该参数用于跑特定的类的main方法,用于执行离线任务的特定类。 2. -p, --parallelism:指定任务的并行度。该参数用于指定每个算子的并行度,即每个算子的实例数。 3. -m, --jobmanager:指定JobManager的地址。该参数用于指定运行JobManager的主机名和端口号。 4. -t, --target:指定任务的执行目标,可选local或remote。local意味着任务将在本地执行,而remote意味着任务将在远程集群或者会话中执行。 5. -yn, --yarnname:指定在YARN上运行jars的应用程序名称。当我们在YARN中运行flink时,需要使用该参数指定应用程序的名称。 6. -s, --sysout:重定向标准输出流。这个参数可以将标准输出流重定向到本地文件系统中的一个文件。 7. -d, --detached:以后台模式启动任务,启动任务后会脱离当前终端会话。这个参数可以让Flink在后台运行,任务完成后可以退出终端操作,而不会停止Flink运行。 总之,flink run启动参数可以控制Flink任务的执行方式、性能和各项参数调优,更好地满足任务需求和用户要求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值