flink（standalone模式）的安装

最新推荐文章于 2023-05-16 14:01:11 发布

PqqqqqqY

最新推荐文章于 2023-05-16 14:01:11 发布

阅读量537

点赞数

文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_48231783/article/details/126995424

版权

集群规划如下

	JobManager	TaskManager
hadoop01	y	y
hadoop02	n	y
hadoop03	n	y

首先下载安装包

上传服务器并解压

解压到servers文件夹

配置环境变量

使环境变量起作用

修改Flink的配置文件

修改flink-conf.yml

注意：修改yml格式的配置文件时，key和value之间必须得有一个空格

修改masters文件

修改workes文件

指定hadoop配置目录

在环境变量配置文件中指定hadoop的配置目录

使配置文件生效

分发flink到其他主机

分发flink到hadoop002

分发flink到hadoop003

分发环境变量配置文件

使环境变量起作用

启动flink集群

jps查看进程

查看flink的webui

standalone集群的测试任务——单词计数

flink run examples/batch/WordCount.jar --input hdfs://hadoop001:9000/input/ --output hdfs://hadoop001:9000/output/result.txt

查看hdfs中的results.txt

查看单词计数结果

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PqqqqqqY

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
flink（standalone模式）的安装

flink的安装与配置
复制链接

扫一扫

flink集群搭建（standalone 高可用模式）

shang17860504386的博客

02-01

1968

flink集群搭建

spark中local模式与cluster模式使用场景_Linux搭建Flink1.7.2 HA集群（基于Standalone模式）...

weixin_39618176的博客

11-19

302

一、Flink 简介Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。1、无界流和有界流任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站或移动应用程序上的用户交互，所有这些数据都作为流生成。数据可以作为无界或有界流处理。无界流有一个开始但没有定义的结...

2 条评论您还未登录，请先登录后发表或查看评论

9. Flink的安装配置(standalone模式)

m0_48642619的博客

11-02

178

一. 解压安装Flink tar -zxvf /h3ch/flink-1.10.2-bin-scala_2.11.tgz -C /opt/module/ 二. 修改/opt/module/flink-1.10.2/conf/下的 masters，slaves，flink-conf.yaml vim masters vim slaves flink-conf.yaml 三. 配置环境变量全局环境变量 vim /etc/profile export FLINK_HOME=/opt/modu

第二课 Flink 安装部署、环境配置及运行应用程序（1）

博客

08-15

2870

第二课

Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）

zhenwudi的专栏

05-16

2045

链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器上操作(分发环境)2.1 在集群（各机器上都执行！2.1 切换到k8s-master执行。2.2 切换到k8s-node1执行。切换到k8s-master执行。切换到k8s-master执行。

Flink standalone安装

01-20

在本文中，我们将详细介绍如何在standalone模式下安装Flink，这是Flink的一种简单部署方式，适合开发和测试环境。 **一、环境准备** 1. **操作系统**：Flink需要运行在类Linux环境上，包括但不限于苹果的macOS系统...

Flink的standalone模式集群启动的流程及注意事项

01-20

1.进行相应的解压操作之后，对flink-conf.yaml、slaves文件进行配置 vi flink-conf.yaml 2. vi slaves来设置子节点 3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ root@192.168.198.131:/yanxiaobo/...

搭建Flink standalone HA 模式所需的jar包

04-13

首先，Flink的standalone模式是Flink分布式运行的一种方式，它不需要借助于其他分布式资源管理系统（如YARN或Kubernetes），而是自包含一个JobManager和TaskManager的集群。而HA模式则在此基础上增加了容错机制，...

flink介绍及安装部署

02-07

Flink 支持多种安装部署模式，包括但不限于： 1. **Local Mode(单机模式)**：适用于开发调试阶段，不建议在生产环境中使用。 2. **Standalone Mode(自建集群模式)**：适合开发和测试环境，不需要依赖其他资源调度...

使用flink的standalone模式同步Kafka的数据到clickhouse的flink代码和jar包

热门推荐

叶子叶来

08-15

1万+

Flink的DataStream学习笔记.. 1 Flink 基础.. 3 Flink特性.. 3 Flink和Spark对比.. 3 设计思路.. 3 状态管理.. 3 Flink 初探.. 4 设计架构.. 4 Flink on yarn. 5 流程分析.. 6 DataStream. 7 API程序结构.. 7 DataSource 8 Transformati...

flink的Standalone-HA模式安装

shenyunsese的专栏

09-21

2308

本文使用flink1.14.5版本，介绍standalone-HA模式的安装。此模式时高可用架构，采用zookeeper协调多个JobManager，保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。因为涉及到运行过程中的状态数据的存储，如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。

Flink集群(standalone)安装

陈旭猿的博客

02-17

367

三台机器，搭建Flink(standalone)集群

Flink-Standalone模式的配置及启动测试与查看

SmallScorpion

05-23

1236

安装解压下载地址： https://flink.apache.org/downloads.html 这边注意得是：如果下以前得版本(https://archive.apache.org/dist/flink/flink-1.7.1/) 会发现其中 flink-1.7.1-bin-scala_2.11.tgz 这种为纯净得版本，那种带hadoop27分别对应得是hadoop版本如果下了纯净版本 flink-1.7.1-bin-scala_2.12.tgz 还需要下载与之对应得hadoop版本得j

Flink standalone配置（血汗注意事项，哭唧唧）

qq_39328864的博客

09-16

431

虚拟机请使用VMware15，win10不支持VMware14，会在导入文件时卡死 JDK，flink环境都要配，环境变量如何修改请自行搜索，记得最后source /etc/profile standalone模式只需要配置flink-yamn和slave，别改别的，yarn模式是另一种部署方法。详情请见官网，说的非常清楚。yarn需要hadoop，它是一个子项目。打开8081web界面的时候没有可用taskmanager，检查是否关闭了防火墙，以及是否永久关闭了防火墙。未知问题要查看日志，在log文.

Flink Standalone模式安装与WordCount实战指南

启动Flink Standalone模式的步骤如下： 1. 进入到`flink-1.10.1`目录。 2. 切换到`bin/`子目录。 3. 运行命令`./start-cluster.sh`，这将启动JobManager和TaskManager进程。为了验证Flink的正确安装和配置，我们...