Flink Standalond Cluster安装

最新推荐文章于 2023-03-23 17:03:35 发布
最新推荐文章于 2023-03-23 17:03:35 发布
阅读量122 收藏
点赞数
分类专栏： # Flink 大数据 文章标签： Flink Flink集群搭建 Flink任务提交 Scala-Shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyj_king/article/details/102464811
版权

一、环境要求

1、Linux系统

2、JDK安装1.8以上

3、集群节点SSH配置

4、三个节点IP:IP01(主节点),IP02(从节点),IP03(从节点)

二、集群下载安装

1、官网下载：flink-1.9.0-bin-scala_2.11.tar

2、在三个节点分别创建目录：

mkdir /opt/flink

3、在主节点的/opt/flink目录下解压压缩包：

tar  –xf  flink-1.9.0-bin-scala_2.11.tar

4、在主节点的conf下进行相关配置：

在master文件中配置Flink JobManager的hostname以及端口.
    IP01:8081
在slaves文件中配置多个TaskManager的IP
    IP02
    IP03
在flink-conf.yaml文件中配置jobmanager.rpc.address: IP01,默认localhost不适合多节点集群模式。

5、在主节点将解压配置好的flink安装包复制到从节点相应位置

scp -r flink-1.9.0 IP02:/opt/flink/
scp -r flink-1.9.0 IP03:/opt/flink/

三、启动Flink Standlone Cluster

bin/start-cluster.sh

通过http:// IP01:8081访问成功即安装成功：

四、使用Flink提供的Scala-Shell向Flink集群提交任务

bin/start-scala-shell.sh  remote  IP01  8081

郝少
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
flink的standalone模式环境搭建
qw3276425405的博客
05-25 890
一.standalone模式 所有的资源都由flink自己管理 flink的jar包：flink-1.11.2-bin-scala_2.11.tgz 把安装包放到linux中 bin #服务或命令 conf #配置文件 examples #实例，案例 lib #jar包 log #日志 1.解压缩 tar -xzvf flink-1.11.2-bin-scala_2.11.tgz 修改名字 mv flink-1.11.2/ flink 2.配置环境变量 #回到家目录
flink介绍及安装部署
02-07
### Flink介绍及安装部署详解 #### 一、Flink简介 Apache Flink 是一个用于分布式数据流处理和批量数据处理的开源框架。它能够提供高效的数据处理能力，并且支持实时处理和批处理两种模式。Flink 的核心是流处理...
flink集群（standalone模式）简单操作
独孤仁的专栏
07-16 2604
1、关键配置文件flink-conf.yaml ##配置master节点ip jobmanager.rpc.address: 192.168.1.100 ##配置slave节点可用内存，单位MB taskmanager.heap.mb: 25600 ##配置每个节点的可用slot，1 核CPU对应 1 slot ##the number of available CPUs per machi...
Flink运行环境_Standalone
大数据进阶之路
06-07 344
Flink运行环境_Standalone 只使用Flink自身节点运行的集群模式，也就是我们所谓的（Standalone）模式，也叫做独立集群模式。 1. Flink独立集群部署 1. 解压缩文件 将flink-1.12.2文件上传到指定目录并解压。 2. 修改配置文件 进入解压缩的路径的conf目录，修改flink-conf.yaml jobmanager.rpc.address: hadoop01 修改works文件，添加work节点 hadoop01 hadoop02 hadoop03
Flink Standalone集群部署和任务提交
chanyue123的博客
01-29 5337
讲解flink standalone的部署和任务提交
Spark3.1.2 Standalone高可用HA分布式部署(含pyspark）
Bulut0907
10-15 1883
以下操作除非特殊说明，否则都是在bigdata001上操作。现在kill掉bigdata001上的master。
XML中的standalone什么意思？
小NIU
12-23 5041
用来标记是否是一个独立的xml,默认是yes。 如果是no表示这个XML不是独立的而是依赖于外部定义的一个DTD。
flink高可用集群搭建（Standalone模式）
热门推荐
weixin_43114209的博客
03-23 1万+
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
Flink安装教程以及Nginx安装包
03-07
4. **启动Flink**: 运行`start-cluster.sh`启动Flink集群，`stop-cluster.sh`用于停止。在web界面（默认http://localhost:8081）可以监控和管理任务。 5. **编写和运行示例**: 在`examples`目录下有一些内置的示例...
start-cluster.bat（windows安装flink所需批处理文件）
08-15
start-cluster.bat（windows安装flink所需批处理文件）
Flink1.7.2集群安装.docx
04-23
6. 在主节点上启动Flink集群，使用`./bin/start-cluster.sh`命令。 至此，Flink 1.7.2的集群安装已经完成。你可以通过Flink的Web UI（默认端口8081）监控作业运行情况，或者通过提交`./bin/flink run`命令来执行...
Flink standalone 集群安装步骤-v1.6.1
10-22
Flink standalone集群安装步骤-V1.6.1 一主两从的Flink集群安装配置步骤
avif-0.5.0-cp37-cp37m-manylinux2010_i686.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
[毕设]HTTP代理服务器开发与实现.zip
07-27
[毕设]HTTP代理服务器开发与实现
PyQt5-5.15.11-cp38-abi3-win32.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
jupyterlab_broccoli_turtle-0.4.7-py3-none-any.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
pillow-10.4.0-cp311-cp311-win32.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
pi_heif-0.17.0-cp38-cp38-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
Flink 1.12.0安装与入门教程
"Flink安装部署与快速入门" Apache Flink是一个开源流处理框架，它旨在提供低延迟、高性能和高吞吐量的数据处理能力。Flink的诞生背景是为了应对大数据实时处理的需求，尤其是在互联网和物联网(IoT)领域，实时数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

郝少

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值