Flink入门简单命令

最新推荐文章于 2024-03-13 19:19:32 发布
最新推荐文章于 2024-03-13 19:19:32 发布
阅读量584 收藏
点赞数 1
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45450889/article/details/121019092
版权
入门
  1. 下载flink（需要有java8 or java11）并解压tar -xzf flink.tgz
  2. 启动本地集群./bin/start-cluster.sh
  3. 关闭集群./bin/stop-cluster.sh
提交Flink作业

换句话说就是把作业的jar文件和相关依赖上传到正在运行的Flink集群上并执行。(示例作业在examples文件夹中)

  1. 把作业部署到正在运行的集群.bin/flink run jar包路径
  2. 查看日志验证输出tail log/xxx.out
总结

本文主要是记录了集群的启动、停止以及提交作业并查看结果

daladalabao
关注
专栏目录
Flink超神文档.pdf
01-29
- **安装**: Flink 的安装过程相对简单，可以通过下载二进制包或通过 Maven 添加依赖来实现。 - **部署**: 部署 Flink 时，可以选择不同的部署模式，如 Standalone 模式、YARN 模式等。 **3.2 Standalone集群安装&...
flink任务启停命令
m0_37987037的博客
10-11 1354
启动yarn上 flink任务：在yarn所在linux机器上执行 /opt/soft/flink-1.11.2/bin/flink run -m yarn-cluster -p 1 -ys 1 -yjm 2048 -ytm 4096 -ynm FeLogEtlForTblUseStatistics -d -c com.shsc.bigdata.flink.jobs.dataCenter.FeLogEtlForTblUseStatistics flink-jobs-felog-tblUse.jar 停
Flink日志配置
热门推荐
upupfeng的博客
03-06 1万+
介绍flink在本地运行和on yarn运行时的日志配置。 很多现代框架都是用门面模式进行日志输出，例如使用Slf4j中的接口输出日志，具体实现类需要由log4j，log4j2，logback等日志框架进行实现。 Flink 中的日志记录就是使用slf4j日志接口实现的。 Slf4j简要说明 slf4j全名Simple Logging Facade for Java，为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好，在工程中通过slf4j接入不同的日志系统。s.
Flink日志文件配置
大数据进阶之路
06-16 6235
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡，没法查看。 2.2 设置日志写入Kafka集群 针对按照日志文件大小滚动生成文件的方式，可能因为某个错误的问题，需要看好多个日志文件，所以可以把日志文件通过KafkaAppender写入到kafka中，然后通过
【flink 床头书系列】flink log日志管理使用
wang2leee的博客
10-11 1001
所有的Flink进程都会创建一个包含该进程中各种事件消息的日志文本文件。这些日志提供了对Flink内部工作原理的深入了解，可以用于检测问题（以WARN/ERROR消息形式）并帮助调试。
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比
大数据开发、JAVA开发、人工智能AI
10-12 2598
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比。为什么在Yarn上部署时，有.out、.err和.log三个日志文件，而在k8s上部署时只有.log日志文件
flink 1.14.3基础环境下的nc+wordcount（java）
03-18
在Java代码中，我们将创建一个Flink流处理作业，该作业从nc命令读取数据流。nc（netcat）是一个网络工具，可以用来创建TCP或UDP连接，也可以用于接收来自网络的数据流。 ```java import org.apache.flink.api....
大数据HelloWorld-Flink实现WordCount
10-16
"大数据HelloWorld-Flink实现WordCount"是初学者入门Flink的典型示例，旨在介绍如何使用Flink处理数据并计算词频。在这个场景中，我们将讨论如何在本地环境中设置Flink、创建和运行一个简单的WordCount程序。 首先...
scala入门--文档版本
04-18
### Scala入门知识点详解 #### 一、Scala简介与特点 **Scala**是一种融合了面向对象编程和函数式编程特性的现代编程语言。它被设计成一种可扩展的语言，旨在克服传统编程语言的一些限制，同时保持代码的简洁性和...
非常好的hadoop入门资料
12-18
### Hadoop 入门知识点详解 #### Hadoop简介 Hadoop是一种开源软件框架，用于分布式存储和处理大型数据集。该框架由Apache Software Foundation维护，是大数据处理领域的重要工具之一。Hadoop的核心组件包括HDFS...
flink集群笔记
GangsterChen & Codes
09-17 98
flink 本机Linux地址 /mnt/d/chenhao86/Chenhao/linuxDoc/flink-1.10.1/bin 启动flink 命令 ./flink run -c com.jd.StringWordCount -p 3 /mnt/d/chenhao86/Chenhao/linuxDoc/flink-demo-1.0-SNAPSHOT.jar --host localhost --port 6666 取消flink服务 ./flink cancel 01c8a3cab5834c8
flink常用参数说明
暮紫的笔记本
03-03 1万+
一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为
【大数据】Flink 命令行详细操作指南
如切如磋，如琢如磨，臻于至善。
02-11 1730
apache flink 1.16.x版本的命令行使用 flink常见example运行尝试 flink常见功能使用案例
04_Flink-HA高可用、Standalone集群模式、Flink-Standalone集群重要参数详解、集群节点重启及扩容、启动组件、Flink on Yarn、启动命令等
涂作权的博客
01-07 1965
1.4. Flink-HA高可用 1.4.1.Standalone集群模式 1.4.2.Flink-Standalone集群重要参数详解 1.4.3.集群节点重启及扩容 1.4.3.1.启动jobmanager 1.4.3.2.启动taskmanger 1.4.3.3.Flink standalone集群中job的容错 1.4.4.Flink on Yarn 1.4.4.1.原理介绍 1.4.4.2.FLINK on yarn集群部署 1.4.5.Flink on Yarn的两种运行方式 1.4.5.1.第
Flink配置文件详解
qianyulin
08-30 1532
我们先来安装路径下的配置文件吧 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 1、Flink-conf.yarml 基础配置 # jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManager 的端口号 jobmanager.rpc.p...
flink的状态和示例
weixin_44429965的博客
11-20 1154
flink的状态和示例什么是状态？状态种类Operator State （算子状态）Keyed State（建控状态）使用时，必须创建一个StateDescriptor例子：两次温差大于10则显示 什么是状态？ 大多数流应用程序都是有状态的。许多算子会不断地读取和更新状态 例如worldcount程序，也要读取当前的状态去计算再更新状态。可以简单理解为保存上一次计算的结果，用以下一次计算 状态种类 Operator State （算子状态） BroadcastState：用于广播的算子状态。 ListSt
聊聊flink的log.file配置
weixin_33989780的博客
11-22 1272
序 本文主要研究一下flink的log.file配置 log4j.properties flink-release-1.6.2/flink-dist/src/main/flink-bin/conf/log4j.properties # This affects logging for both user code and Flink log4j.rootLogger=INFO, file # U...
flink日志解析
最新发布
weixin_45430750的博客
03-13 264
flink 代码解析日志 public class HotPages { public static void main(String[] args) throws Exception { /** * 思路：开窗统计聚合 得到结果 排序输出 */ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
轻松通关Flink第08讲：Flink 窗口、时间和水印
sucaiwa的博客
03-26 511
这一课时我们学习了 Flink 的时间类型和水印生成，内容偏多并且水印部分理解起来需要时间，建议你结合源码再进一步学习。
Flink入门示例：掌握源码学习精髓
资源摘要信息:"Flink入门级示例源码" Apache Flink是一个开源的流处理框架，用于对大规模数据流进行快速准确的计算。它的核心是分布式数据流处理，主要用于实时数据处理和分析。Flink拥有高性能和高吞吐量，非常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值