Flink 部署

1 安装
解压缩 flink-1.10.1-bin-scala_2.12.tgz,进入 conf 目录中。
1)修改 flink/conf/flink-conf.yaml 文件:
在这里插入图片描述
2)修改 /conf/slaves 文件:
在这里插入图片描述
3)分发给另外两台机子:
在这里插入图片描述
4)启动:
在这里插入图片描述
访问 http://localhost:8081 可以对 flink 集群和任务进行监控管理。
在这里插入图片描述
2 提交任务

  1. 准备数据文件(如果需要)
    在这里插入图片描述
  2. 把含数据文件的文件夹,分发到 taskmanage 机器中在这里插入图片描述
    如 果 从 文 件 中 读 取 数 据 , 由 于 是 从 本 地 磁 盘 读 取 , 实 际 任 务 会 被 分 发 到 taskmanage 的机器中,所以要把目标文件分发。
  3. 执行程序
./flink run -c com.atguigu.wc.StreamWordCount –p 2 FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777

在这里插入图片描述
4) 到目标文件夹中查看计算结果
注 意 : 如 果 计 算 结 果 输 出 到 文 件 , 会 保 存 到 taskmanage 的 机 器 下 , 不 会 在 jobmanage 下。在这里插入图片描述
5) 在 webui 控制台查看计算过程在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用docker-compose部署Flink,您可以参考以下步骤: 1. 首先,确保您已经安装了Docker和docker-compose。您可以根据引用和引用中提供的链接和指南来安装它们。 2. 创建一个名为docker-compose.yml的文件,并在其中定义Flink集群的配置。您可以参考引用中提供的链接,找到一个示例的docker-compose.yml脚本,然后根据您的需求进行调整。 3. 在docker-compose.yml文件中,您需要定义Flink JobManager和TaskManager的容器以及它们之间的网络连接。您可以指定所需的资源,如CPU和内存等。 4. 在docker-compose.yml文件中,您还可以定义Flink的相关配置,如作业管理器的日志级别、作业的并行度等。 5. 一旦docker-compose.yml文件被定义好,您可以在终端中导航到该文件所在的目录,并运行以下命令来启动Flink集群: ``` docker-compose up -d ``` 6. 等待一段时间,直到Flink集群启动完成。您可以使用以下命令检查集群的状态: ``` docker-compose ps ``` 7. 现在,您可以使用Flink的Web界面或Flink的客户端工具来提交和管理作业。 请注意,这只是一个概述了使用docker-compose部署Flink的步骤。具体的配置和细节可能因您的环境和需求而有所不同。建议您参考引用中的链接和引用及中的文档来获取更详细的信息和指导。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Docker-compose部署flink](https://blog.csdn.net/weixin_44739349/article/details/104591378)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群](https://download.csdn.net/download/weixin_42118011/19691285)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值