Flink配置参数解释

最新推荐文章于 2023-07-16 23:32:57 发布
最新推荐文章于 2023-07-16 23:32:57 发布
阅读量823 收藏
点赞数
分类专栏： Flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40713537/article/details/102696106
版权 

# jobManager 的IP地址
jobmanager.rpc.address: hadoop102

# JobManager 的端口号
jobmanager.rpc.port: 6123

# JobManager JVM堆大小
jobmanager.heap.size: 1024m

# taskmanager JVM堆大小
taskmanager.heap.size: 1024m

# 每个 TaskManager 提供的任务 slots 数量
taskmanager.numberOfTaskSlots: 2

# 程序默认并行计算的个数，最大并行计算个数为所有的taskmanager上面的slots总和
parallelism.default: 1

#web端口号
rest.port: 8081

 

Vincer_DB
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink 设置JVM参数
九师兄
06-27 4002
1.JVM设置 堆设置 -Xms :初始堆大小 -Xmx :最大堆大小 -XX:NewSize=n :设置年轻代大小 -XX:NewRatio=n: 设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4 -XX:SurvivorRatio=n :年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如：3，表示Eden：Survivor=3：2，一个Survivor区占整个年轻代的1/5 -XX:MaxPermSize=n :设置.
logparser:通过Java，Hadoop，Hive，Pig，Flink，Beam，Storm，Drill等轻松解析Apache HTTPD和NGINX访问日志。
05-01
Apache HTTPD和NGINX访问日志解析器 这是一个Logparsing框架，旨在简化和访问日志文件的解析。 基本思想是，您应该能够拥有一个解析器，您可以通过简单地告诉该行写入了哪些配置选项来构造该解析器。 这些配置选项是访问日志行的架构。 因此，我们使用写入文件的LogFormat作为读取相同文件的解析器的输入参数。 除了Apache HTTPD手册中“”下指定的配置选项外，还可以识别以下内容： 常见的 合并的 组合式 推荐人 代理人 对于Nginx，在和指定log_format令牌。 关于Apache HTTPD令牌％{format} t的特别说明 引用 %{format}t: The time, in the form given by format, which should be in strftime(3) format. (potentially locali
plink:Flink平台
05-14
Plink Platform for 概述 旨在基于 封装构建上层平台。 提供常见的作业管理功能。如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。 (开发中)Flink SQL 编辑提交功能。如 SQL 的在线开发，智能提示，格式化，语法校验，保存，采样，运行，测试。 目标 我们的目标，大家共同参与，赶紧 ，一起进步吧！（只要你主动，我们就会有故事 。。。） 特性 作业管理（v0.1） [√] 作业创建，删除，编辑，更新，保存，上传 Jar，常规参数配置。 [√] 作业启动，停止，重启，停止，删除。 [√] 批量的作业启动，停止，重启，停止，删除。 [√] 作业列表的查看，过滤，分页。 [√] 作业实例列表的查看，过滤，分页。 [√] 本地化部署（Windows / Linux）。 [√] 容器化部署（Docker）。 Flink SQL（v0.2 开发中
Flink架构原理，入门操作
05-05
Flink架构原理、Flink应用场景、Flink特点优势、Flink分布式集群企业级部署、Flink任务提交、高可用、并行度设置及参数配置、常用API、Flink窗口、Flink状态、FlinkTable、FlinkSQL、Flink复杂时间等一系列Flink热点技术。如果你在学习和工作中有实时业务处理场景，通过本课程学习，可以掌握如何使用Flink进行企业级开发，同时在市场竞争力上也胜人一筹。
flink集群搭建、错误总结
qq_38558851的博客
10-27 6280
flink集群搭建、错误总结 一、集群搭建 flink Standalone模式集群部署，使用flink1.11版本 flink-1.11.1-bin-scala_2.12 .tgz ，安装环境为七个节点，一个jobmanager七个taskmanager。 1、基础环境准备 1.1、jdk1.8或者更高 默认已安装 1.2、主机名和hosts文件集群内完全对应。如下添加： IP1 hostname1 IP2 hostname2 IP3 hostname3 IP4 hostname4 IP5 hostnam
flink命令行参数
04-08
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
Flink 参数配置和常见参数调优
yang灬仔
07-27 4058
Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.scheduler.maximum-allo
JVM参数
javalj的博客
10-14 195
XX:+ 启用选项 -XX:-不启用选项 -XX:= -XX:= 堆设置 -Xms :初始堆大小 -Xmx :最大堆大小 -Xmn：新生代大小。通常为 Xmx 的 1/3 或 1/4。新生代 = Eden + 2 个 Survivor 空间。实际可用空间为 = Eden + 1 个 Survivor，即 90% -XX:NewSize=n :设置年轻代大小 -XX:NewRatio=n: 设置年轻...
Flink：参数配置
Joseph25的博客
06-30 2840
flink配置
flink 主要配置参数
join_null的博客
10-11 1282
flink最主要的配置参数设置： 1、Jobmanager总共能使用的内存大小(jobmanager.heap.size) 2、TaskManager总共能使用的内存大小（taskmanager.heap.size） 3、每一台机器上能使用的 CPU 个数（taskmanager.numberOfTaskSlots） 4、集群中的总 CPU个数（parallelism.default） 5、临...
基于Java的Clink Flink流批一体开发框架源码
最新发布
03-25
- 属性配置：2个properties文件，定义运行时参数； - 许可证：1个LICENSE文件，声明版权和许可信息； - XSD文件：1个，用于定义框架配置的结构。 功能特点： - 快速构建：支持通过Java快速搭建Flink流批一体应用...
大数据处理神器：Fire框架开源源码，助力Spark与Flink任务高效开发
03-25
项目概述：Fire框架是一款由中通大数据团队自主研发并贡献给开源社区的大数据处理利器，...除此之外，框架还集成了实时血缘分析、根因诊断、动态调优和参数热调整等丰富的平台化功能，为中大型数据项目提供稳定的支持。
Flink本地集群部署启动&常见问题的解决方法
Appreciate(欣赏)
07-16 1715
访问页面http://localhost:8081/#/overviewi页面slots卡槽数正确展示说明启动成功。解决方法：设置taskmanager和jobmanager允许所有机器连接。启动成功taskmanager会出现如下进程。启动集群在jobmanager那台机器启动。启动成功jobmanager会出现如下进程。解决方法，检查以下配置是否正确。
Flink1.12.4 配置文件详解
程序园@大Null
06-09 1621
目录flink-conf.yamlmastersworkerszoo.cfg日志配置 flink-conf.yaml # Jobmanager的地址，taskmanager必须要识别并能连上。 # 只有standalone的集群模式起作用，当执行bin/jobmanager.sh --host<hostname>的时候将被覆盖 # 在YARN或者Mesos的集群模式下将自动替换为jobmanager所在节点的hostname # JobMaster节点IP地址 jobmanager.rpc.ad
Flink 配置文件说明
L, there!
01-03 2751
master 集群的 master 节点 slaves 集群中所有的工作节点 flink-conf.yaml 1. 基础配置 # JobMaster节点IP地址 jobmanager.rpc.address # JobMaster端口号，默认6123 jobmanager.rpc.port：6123 # JM 节点可分配的最大内存，master 主要管理集群资源...
Flink配置文件详解
qianyulin
08-30 1246
我们先来安装路径下的配置文件吧 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 1、Flink-conf.yarml 基础配置 # jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManager 的端口号 jobmanager.rpc.p...
Flink（四）—— Flink 配置文件详解
weixin_42073629的博客
10-13 2201
前面文章我们已经知道 Flink 是什么东西了，安装好 Flink 后，我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 # jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManager 的端口号 jobmanager.rpc.port: 6123 # JobManage
【Flink】Flink jvm参数配置GC日志
九师兄
02-02 1483
按照这个参数，每个GC日志只要超过20M就会进行分割，最多分割5个文件，文件名依次是gc.log.0,gc.log.1,gc.log.2,gc.log.3,gc.log.4, …不使用 JVM 提供的日志分割功能，而是每次启动用时间戳命名日志文件，这样可以每次启动都使用不同的文件，就不会出现覆盖的问题了。但是可能很多人配置的都不够“完美”，要么是打印的内容过少，要么是输出到控制台，要么是一个大文件被覆盖，要么是……-Xloggc 方式指定的日志文件，是覆盖写的方式，每次启动都会覆盖，历史日志会丢失。
Flink自定义aggregate聚合函数的步骤
大数据吧唧吧唧
10-27 8182
第一步：将dataStream转换城windowedStream // 从kafka读取数据 val inputStream = env.addSource(new FlinkKafkaConsumer[String]("hotitems", new SimpleStringSchema(), properties)) .map(dat...
flink配置参数整理
08-30
在Flink的安装目录下，主要有以下几个配置文件： 1. flink-conf.yaml：该文件是Flink的主要配置文件，用于设置Flink的全局配置。 2. 日志的配置文件：用于配置Flink的日志打印格式、级别等相关参数。 3. zk配置：用于配置Flink与ZooKeeper的连接信息，以便Flink可以使用ZooKeeper来实现高可用和容错机制。 4. Flink SQL Client配置：用于配置Flink SQL客户端的相关参数，如连接信息、默认目录等。 除了以上配置文件，根据table程序的需要，还可以通过配置一些必要的参数来优化表操作。举个例子，对于无界流程序，可能需要确定必要的状态大小上限。 在Java代码中，可以使用TableEnvironment的getConfig()方法获取Flink的配置对象，然后通过配置对象的setString()方法来设置底层的键值对配置。例如，可以通过以下方式设置mini-batch优化相关的配置参数： ```java // 实例化table environment TableEnvironment tEnv = ...; // 访问flink配置 Configuration configuration = tEnv.getConfig().getConfiguration(); // 设置底层key-value配置 configuration.setString("table.exec.mini-batch.enabled", "true"); // 开启mini-batch优化 configuration.setString("table.exec.mini-batch.allow-latency", "5 s"); // 缓存输入数据5秒 configuration.setString("table.exec.mini-batch.size", "5000"); // 每个聚合操作任务可以缓存的最大数据条数为5000条 ``` 通过以上配置，可以启用mini-batch优化，并设置相应的缓存参数，以提高表操作的性能和效率。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Flink 从 0 到 1 学习 —— Flink 配置文件详解](https://blog.csdn.net/tzs_1041218129/article/details/101104375)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [flink-sql查询配置与性能优化参数详解-1.14](https://blog.csdn.net/u012443641/article/details/127900815)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值