linux部署flink伪分布式详细步骤

最新推荐文章于 2023-06-19 09:58:29 发布
最新推荐文章于 2023-06-19 09:58:29 发布
阅读量293 收藏 1
点赞数
文章标签： linux flink 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68370888/article/details/128329283
版权

搭建flink伪分布式

1、下载压缩包到指定路径

解压缩

2、进入conf

vim flink-conf.yaml

找到33行 改成自己的主机名

：set nu

vim masters vim slaves 都是改成自己的主机名

进入bin目录下 ./start-cluster.sh

jps

配置成功！！！

进入webUI页面

输入http://192.168.56.131:8081

追风筝的少年1
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink的安装和部署--伪分布模式
什么最重要？算法！！
05-01 605
Flink的安装和部署主要分为伪分布模式和集群模式：伪分布:如果Flink对应的Java进程都运行在一个物理机器上,称为伪分布模式，如果Flink对应的 Java进程运行在多台物理机器上,称为集群模式. 伪分布模式就是在一台服务器上面模拟集群环境，但仅仅是机器数量少,其通信机制与运行过程与真正的集群模式是一样的. Flink伪分布模式搭建过程（flink-1.10.2-bin-scala_2.11.tgz用这个即可） flink-1.7.2-bin-hadoop27-scala_2...
部署Apache Flink伪集群
gmHappy
10-04 925
为了运行Flink，只需提前安装好Java 11。你可以通过以下命令来检查 Java 是否已经安装正确。
集群搭建--linux下安装flink集群
迎接小天使
11-26 1054
一、解压flink压缩包 tar -zxvf hbase-1.4.11-bin.tar.gz -C /usr/local/modules/ 二、配置conf/flink-conf.yaml文件 jobmanager.rpc.address: 192.168.56.128 三、配置conf/slaves vim slaves hadoop1 hadoop2 hadoop3 四、拷贝flink到...
Flink 分布式运行模式
wangyu1025391259的博客
01-17 512
分布式运行模式如下图：          JobManagers（Master）: 主要的作用是管理tasks；安排checkpoint；失败以后重启 。 通常情况下只有一个JobManager，但是如果是需要其成为高可用的集群，可以配置多个JobManager，但是只有一个活跃的JobManager，其他的都是standby         TaskManagers（worker）: 主...
flink 本地_flink伪分布式搭建及其本地idea测flink连接
weixin_39521651的博客
12-22 131
下载安装flink：上传压缩包：flink-1.7.2-bin-scala_2.12.tgz解压：tar -zxvf /flink-1.7.2-bin-scala_2.12.tgz -C ../hone复制解压文件到子节点：scp -r /home/flink-1.7.2/ root@slave1:/home/scp -r /home/flink-1.7.2/ root@slave2:/home/...
【Flink伪分布式环境搭建及应用，Standlong（开发测试）】
Chad_it的博客
10-19 456
还在发愁开发测试的时候没有Flink环境么？Flink的伪分布式环境搭建及使用一文承上
搭建Flink的伪分布式
知其然，知其所以然
01-17 1748
一.Flink可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 二.搭建伪分布式Flink: a.这里选择flink的版本是：flink-1.6.2-bin-hadoop24-scala_2.11.tgz b.进行解压： c.解压完成后： d.进入flink的...
Flink入门之Standalone模式集群伪分布式搭建
吟啸徐行
03-22 4599
  1：首先配置Java相关环境以及Flink下载，解压就不说了。 2：接下来看看Flink的conf的配置文件：                                                   这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（fl...
flink的伪分布式搭建
健康平安的活着的专栏
01-15 1828
一 flink的伪分布式搭建 1.1 执行架构图 1.Flink程序需要提交给 Job Client 2.Job Client将作业提交给 Job Manager 3.Job Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的 Task Manage。 4.Task Manager启动一个线程以开始执行。Task Manager会向Job Manager报告状态更改。例如开始执行，正在进行或已完成。 5.作业执行完成后，结果将发送...
Flink 安装部署与快速入门
qq_43528451的博客
01-27 1802
(一)、Flink 安装部署与快速入门（xxbj） 一、flink概述 1、为什么选用flink？ 不仅仅是一个高吞吐、低延迟的计算引擎，同时还提供很多高级的功能。：有状态的计算、支持强一致性语义以及至此基于Event Time的WaterMark对延迟或者乱序的数据进行处理 2、flink组件 物理部署层 本地、独立集群、yarn管理集群上、云上 runtime核心层 该层为上层不同接口提供基础服务；也是flink分布式计算框架的核心实现层支持分布式stream作业的执行、jobgraph到ex
基于flink的分布式数据同步框架
06-08
基于flink的分布式数据同步框架
Flink分布式运行环境.docx
05-20
Flink分布式运行环境 Flink分布式运行环境是指Flink框架在分布式环境下的运行机制。该环境由JobManager和TaskManager两类进程组成。JobManager负责协调分布式的执行，调度任务，协调检查点以及处理失败后的恢复。...
flinkx:基于flink的分布式数据同步工具
03-15
FlinkX是基于袋鼠云中广泛使用的flink的分布式脱机实时数据同步框架，可实现多个异构数据源之间的高效数据迁移。 不同的数据源被抽象到不同的Reader插件中，并且不同的数据目标被抽象到不同的Writer插件中。 从理论...
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root"，密码为"hadoop"。 5.使用hadoop集群前，需要根据本地...
基于flink的分布式数据分析系统.zip
03-10
基于flink的分布式数据分析系统
Flink 基础学习(八) 手把手教你搭建伪集群 HA
Java极客技术
12-12 951
o点击蓝色“Java极客技术”关注我哟加个“星标”，一起快乐成长这是 Java 极客技术的第277篇原创文章1 前言前面理论性的知识是不是有点太“干货”，所以来点实战性的内容吧，这次...
【Flink】1.Flink集群部署
weixin_44718672的博客
12-07 1984
flink集群部署：standalone和flink-on-yarn
flink集群的搭建与部署
热门推荐
IT晓白
01-28 2万+
运行环境 linux-CentOS6.8 hadoop-2.7.5 Scala-2.11.6 jdk-1.8 flink-1.7.1-bin-hadoop27-scala_2.11.tgz flink搭建 1.下载 下载地址：http://flink.apache.org/downloads.html 根据自己集群环境的情况，下载相应的flink版本。 上面描述我的集群环境是hadoop2.7......
Linux安装Flink及其环境配置
相互学习 共同进步
06-19 2580
使用StandAlone模式，需要启动Flink的主节点JobManager以及从节点TaskManager（1）Application模式（2）Per-Job模式（3）Session模式。
flink分布式部署
最新发布
07-27
Flink是一个开源的流处理和批处理框架，支持分布式部署。下面是Flink分布式部署的一般步骤： 1. 确保你有一个Flink集群：Flink需要在一个或多个计算机上运行，形成一个集群。你可以在每台计算机上安装Flink，也可以使用现有的集群管理器（如Apache Mesos、Hadoop YARN或Kubernetes）来管理Flink集群。 2. 配置Flink集群：在每台计算机上，你需要配置Flink集群的相关参数。主要的配置文件是`flink-conf.yaml`，其中包含了一些关键的配置项，如任务管理器的数量、内存分配等。你可以根据需要进行相应的配置。 3. 启动Flink集群：在每台计算机上启动Flink集群的组件，包括任务管理器（TaskManager）和作业管理器（JobManager）。作业管理器负责接收作业提交请求，并将作业分发给任务管理器执行。 4. 提交作业：使用Flink提供的客户端工具或API，将你的Flink作业提交到Flink集群中执行。你可以通过命令行工具`flink run`或使用Flink的REST API来提交作业。 5. 监控和管理：一旦作业提交成功，你可以使用Flink的Web界面或命令行工具来监控作业的执行情况。你可以查看作业的状态、任务的指标和日志等信息，也可以进行作业的管理操作，如取消、重新启动等。 以上是Flink分布式部署的一般步骤，具体的操作细节可能会有所不同，取决于你选择的集群管理器和部署环境。你可以参考Flink官方文档中的相关章节，了解更多详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值