Flink-Local模式环境搭建

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量622 收藏 1
点赞数
分类专栏： 大数据 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42341823/article/details/106605981
版权
本文介绍了在CentOS7环境下，如何搭建Flink 1.10.1的本地环境，包括JDK和Scala的前置准备，详细步骤涉及下载Flink、配置环境变量、通过shell启动测试以及执行WordCount案例。同时，文章还展示了通过Web UI监控作业提交和查看结果的过程。
摘要由CSDN通过智能技术生成

一、前置准备

CentOS7、jdk1.8、flink-1.10.1

想要完成本期视频中所有操作，需要以下准备：

Linux下jdk的安装

Scala环境搭建-视频教程

大数据常用shell脚本之zk脚本编写-视频教程

二、环境搭建

2.1 下载并解压

下载 Flink 安装包，这里我下载的是flink-1.10.1-bin-scala_2.11.tgz。下载地址：https://flink.apache.org/zh/downloads.html

# 解压
[xiaokang@hadoop ~]$ tar -zxvf flink-1.10.1-bin-scala_2.11.tgz -C /opt/software/

2.2 配置环境变量

[xiaokang@hadoop ~]$ sudo vim /etc/profile.d/env.sh

在原来基础上更新配置环境变量：

export FLINK_HOME=/opt/software/flink-1.10.1
export PATH=<
最低0.47元/天 解锁文章
广彐水厂
关注
专栏目录
大数据Flink（三）：​​​​​​​Flink安装部署 Local本地模式
Lansonli（蓝深李）的博客
04-24 1714
Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用 - Standalone—独立集群模式，Flink自带集群，开发测试环境使用 - StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用 - On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用 Local本地模式 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobMana...
流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式
qq_20466211的博客
07-22 1581
flink的安装
Flink（3）：Flink安装部署之Local本地模式
yang_shibiao的博客
06-30 2531
0. 相关文章链接 1. Local本地模式 1.1. 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的TaskManager TaskManager启动一个线程以开始执行。TaskManager会向JobManager报告状态更改,如开始执行，正在进行或已完成。 作业执行完成后，结果将发送回客户端(JobClient) 1.2. 操作 1）下载安装
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 3090
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
Flink local模式部署
关注我！带你一路 "狂飙" 到底！
07-08 1170
Flink local模式部署 flink的local模式运行在单个jvm中。同时local方便快速测试。 需求： Java 1.8.xor higher, ssh 1、下载 https://flink.apache.org/downloads.html 2、解压 [root@hadoop01 local]# tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/ [root@hadoop01 local]# cd ./f.
flink学习笔记-flink的local模式安装部署
陈同学
03-19 2649
1、Flink的local模式部署安装 在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可 第一步：上传安装包并解压 将编译之后的压缩包，上传到node01服务器的/kkb/soft路径下，然后进行解压 tar -zxf flink-1.8.1.tar.gz -C /opt/ins...
Flink SQL管理平台flink-streaming-platform-web安装搭建-整理
m0_57781768的博客
12-02 2636
为什么我下的是适配flink 1.14.3的，我前面安装flink1.13.5，我也是下了一堆flink，经过尝试，才发现flink1.13.5这个版本，适配flink-streaming-platform-web tagV20220625。最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就是那个界面。否则，安装hadoop集群可老费事儿了。
Flink1.12 flink-conf.yaml配置
GavinKai
11-24 6495
1.配置及注释 1.1定位 flink-conf.yaml是flink的配置文件，优先级在代码和提交参数之后是通用配置 1.2注意点 flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格，否则配置不会生效。 1.3参数解析 #============================================================================== # 集群通用配置 #==============================
Flink | Windows环境搭建Local测试模式
俗人
06-12 873
首先，Flink官网下载地址 ：https://flink.apache.org/downloads.html。 环境： Java 8 Scala 2.11.8 flink-1.6.1-bin-hadoop27-scala_2.11.tgz 安装模式： Local 1、将flink*.tgz解压到本地目录：D:\CodeSoft\CodeEnvironment\flink-1.6.1 2、在配置文件.\conf\flink-conf.yaml 修改默认端口(8081)，改为9091 ...
flink-1.12.2 ha 集群配置
恒
05-07 956
flink-ha 配置 以下配置亲测可用: 参考: https://blog.csdn.net/weixin_44500374/article/details/112611556 # flink-conf.yaml # Flink HA Configuration jobmanager.memory.process.size: 2g taskmanager.memory.process.size: 16g parallelism.default: 1 fs.default-scheme: hdfs:
Flink大数据流处理-第一篇（Local模式部署）
DT辰白
05-11 1440
Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式。下一篇：Flink的Standalone模式安装部署。
flink的local模式安装部署
cqscf的博客
04-16 1564
flink的local模式安装部署
Flink 搭建 - 本地模式
半吊子Kyle的博客
09-05 1558
Flink 搭建 - 本地模式模式说明安装准备安装测试 Apache Flink 1.10 Documentation 模式说明 本地模式适用于本地开发和测试环境，占用的资源较少，部署简单 安装准备 ① 环境准备 Linux 服务器 ② 下载安装包 Apache Flink: Downloads Apache Flink: Downloads: flink-1.10.0-bin-scala_2.11.tgz 注意：本博客基于 Flink 1.10 版本安装 # 版本说明 # 1.10.0 是 flink 的
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 3654
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Mac下安装Flink的local模式（flink-1.5.2）
九师兄
08-09 1195
dsv
配置flink环境
define_us的专栏
05-20 335
下载 https://archive.apache.org/dist/flink/flink-1.9.0/ 我们选择下载flink-1.9.0-bin-scala_2.11.tgz 。从名字上可以看出，需要scala_2.11的环境。 如果没有，需要在下面地址下载 https://www.scala-lang.org/download/ 参考下面文档进行安装 https://www.jianshu.com/p/d7c94372020c 安装 本地环境 flink支持如下环境 LocalEnvironmen
flink部署三种模式（案例操作）
全栈开发的博客
03-29 2043
flink部署操作案例
Flink Local环境部署
tx2976273659的博客
11-02 506
Flink Local环境部署
构建Flink-Kafka实验环境与部署教程
本篇文章主要介绍了如何在Flink中使用Kafka进行数据消费的实验过程，包括实验环境的搭建、华为云上的资源购买以及具体的实验步骤。首先，实验者在一台Centos7.6（基于鲲鹏aarch64架构）的虚拟机上运行，该环境包含了...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值