二、Flink基础之 部署模式


一、Standalone模式

1.1 下载flink安装包

https://flink.apache.org/downloads.html
在这里插入图片描述

1.2 安装 flink

解压即可
在这里插入图片描述

1.3 配置文件

  1. vim conf/flink-conf.yaml

    jobmanager.rpc.address: kino-cdh01 # 集群管理器,管理job的rpc通信地址
    
    # The RPC port where the JobManager is reachable.
    
    jobmanager.rpc.port: 6123 # 内部通信端口
    
    
    # The heap size for the JobManager JVM
    
    jobmanager.heap.size: 1024m # jobmanager(对应spark的driver) 默认堆内存大小
    
    
    # The heap size for the TaskManager JVM
    
    taskmanager.heap.size: 1024m # taskmanager(执行任务, 对应spark的executor) 默认堆内存大小
    
    
    # The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
    
    taskmanager.numberOfTaskSlots: 1 # 当前taskmanager 能提供的线程数
    
    # The parallelism used for programs that did not specify and other parallelism.
    
    parallelism.default: 1 # 实际执行的 并行度
    
  2. vim conf/slaves:

    kino-cdh02
    kino-cdh03
    
  3. 分发给另外两台机子

    scp -r /usr/local/flink-1.9.2 kino-cdh02:/usr/local/
    scp -r /usr/local/flink-1.9.2 kino-cdh03:/usr/local/
    
  4. 启动

    [root@kino-cdh01 flink-1.9.2]# bin/start-cluster.sh 
    Starting cluster.
    Starting standalonesession daemon on host kino-cdh01.
    Starting taskexecutor daemon on host kino-cdh02.
    Starting taskexecutor daemon on host kino-cdh03.
    

访问 http://localhost:8081 可以对flink集群和任务进行监控管理。


二、Yarn模式


三、Kubernetes部署

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值