11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）

于 2024-08-22 12:00:00 发布
阅读量1k 收藏 16
点赞数 18
文章标签： flink 前端 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61869253/article/details/141327945
版权

Flink 系列文章

一、Flink 专栏

Flink
专栏系统介绍某一知识点，并辅以具体的示例进行说明。

  • 1、Flink 部署系列
    本部分介绍Flink的部署、配置相关基础内容。

  • 2、Flink基础系列
    本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。

  • 3、Flik Table API和SQL基础系列
    本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。

  • 4、Flik Table API和SQL提高与应用系列
    本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有一定开发难度的内容。

  • 5、Flink 监控系列
    本部分和实际的运维、监控工作相关。

二、Flink 示例专栏

Flink 示例专栏是
Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。

两专栏的所有文章入口点击：Flink
系列文章汇总索引

文章目录
  • Flink 系列文章
  • 一、目录结构说明
  • 二、基础配置
  • 三、高可用性配置
  • 四、容错和检查点 配置
  • 五、web 前端配置
  • 六、高级配置
  • 七、Flink 集群安全配置
  • 八、Zookeeper 安全配置
  • 九、HistoryServer
  • 十、查看下另外两个配置 workers / master
  • * 1、workers
    • 2、masters
  • 十一、zoo.cfg
  • 十二、日志配置
  • 十三、sql-client-defaults.yaml

本文简单的介绍了flink的配置文件内容及配置项说明。

一、目录结构说明

安装完成后的目录结构如下：
在这里插入图片描述

conf文件夹下的文件目录
在这里插入图片描述

安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。

二、基础配置

# jobManager 的IP地址
jobmanager.rpc.address: localhost
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 1
# 程序默认并行计算的个数
parallelism.default: 1
# 文件系统来源
# fs.default-scheme

三、高可用性配置

# 可以选择 'NONE' 或者 'zookeeper'.
# high-availability: zookeeper
# 文件系统路径，让 Flink 在高可用性设置中持久保存元数据
# high-availability.storageDir: hdfs:///flink/ha/
# zookeeper 集群中仲裁者的机器 ip 和 port 端口号
# high-availability.zookeeper.quorum: localhost:2181
# 默认是 open，如果 zookeeper security 启用了该值会更改成 creator
# high-availability.zookeeper.client.acl: open

四、容错和检查点 配置

# 用于存储和检查点状态
# state.backend: filesystem
# 存储检查点的数据文件和元数据的默认目录
# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
# savepoints 的默认目标目录(可选)
# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints
# 用于启用/禁用增量 checkpoints 的标志
# state.backend.incremental: false

五、web 前端配置

# 基于 Web 的运行时监视器侦听的地址.
#jobmanager.web.address: 0.0.0.0
#  Web 的运行时监视器端口
rest.port: 8081
# 是否从基于 Web 的 jobmanager 启用作业提交
# jobmanager.web.submit.enable: false

六、高级配置

# io.tmp.dirs: /tmp
# 是否应在 TaskManager 启动时预先分配 TaskManager 管理的内存
# taskmanager.memory.preallocate: false
# 类加载解析顺序，是先检查用户代码 jar（“child-first”）还是应用程序类路径（“parent-first”）。 默认设置指示首先从用户代码 jar 加载类
# classloader.resolve-order: child-first
# 用于网络缓冲区的 JVM 内存的分数。 这决定了 TaskManager 可以同时拥有多少流数据交换通道以及通道缓冲的程度。 如果作业被拒绝或者您收到系统没有足够缓冲区的警告，请增加此值或下面的最小/最大值。 另请注意，“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能会覆盖此分数
# taskmanager.network.memory.fraction: 0.1
# taskmanager.network.memory.min: 67108864
# taskmanager.network.memory.max: 1073741824

七、Flink 集群安全配置

# 指示是否从 Kerberos ticket 缓存中读取
# security.kerberos.login.use-ticket-cache: true
# 包含用户凭据的 Kerberos 密钥表文件的绝对路径
# security.kerberos.login.keytab: /path/to/kerberos/keytab
# 与 keytab 关联的 Kerberos 主体名称
# security.kerberos.login.principal: flink-user
# 以逗号分隔的登录上下文列表，用于提供 Kerberos 凭据（例如，`Client，KafkaClient`使用凭证进行 ZooKeeper 身份验证和 Kafka 身份验证）
# security.kerberos.login.contexts: Client,KafkaClient

八、Zookeeper 安全配置

# 覆盖以下配置以提供自定义 ZK 服务名称
# zookeeper.sasl.service-name: zookeeper
# 该配置必须匹配 "security.kerberos.login.contexts" 中的列表（含有一个）
# zookeeper.sasl.login-context-name: Client

九、HistoryServer

# 你可以通过 bin/historyserver.sh (start|stop) 命令启动和关闭 HistoryServer
# 将已完成的作业上传到的目录
# jobmanager.archive.fs.dir: hdfs:///completed-jobs/
# 基于 Web 的 HistoryServer 的地址
# historyserver.web.address: 0.0.0.0
# 基于 Web 的 HistoryServer 的端口号
# historyserver.web.port: 8082
# 以逗号分隔的目录列表，用于监视已完成的作业
# historyserver.archive.fs.dir: hdfs:///completed-jobs/
# 刷新受监控目录的时间间隔（以毫秒为单位）
# historyserver.archive.fs.refresh-interval: 10000

十、查看下另外两个配置 workers / master

1、workers

里面是每个 worker 节点的 IP/Hostname，每一个 worker 节点之后都会运行一个 TaskManager，一个一行。

2、masters

host:port

十一、zoo.cfg

# 每个 tick 的毫秒数
tickTime=2000
# 初始同步阶段可以采用的 tick 数
initLimit=10
# 在发送请求和获取确认之间可以传递的 tick 数
syncLimit=5
# 存储快照的目录
# dataDir=/tmp/zookeeper
# 客户端将连接的端口
clientPort=2181
# ZooKeeper quorum peers
server.1=localhost:2888:3888
# server.2=host:peer-port:leader-port

十二、日志配置

log4j-cli.properties
log4j-console.properties
log4j-yarn-session.properties
log4j.properties
logback-console.xml
logback-yarn.xml
logback.xml

十三、sql-client-defaults.yaml

execution:
  # 'batch' or 'streaming' execution
  type: streaming
  # allow 'event-time' or only 'processing-time' in sources
  time-characteristic: event-time
  # interval in ms for emitting periodic watermarks
  periodic-watermarks-interval: 200
  # 'changelog' or 'table' presentation of results
  result-mode: changelog
  # parallelism of the program
  parallelism: 1
  # maximum parallelism
  max-parallelism: 128
  # minimum idle state retention in ms
  min-idle-state-retention: 0
  # maximum idle state retention in ms
  max-idle-state-retention: 0
deployment:
  # general cluster communication timeout in ms
  response-timeout: 5000
  # (optional) address from cluster to gateway
  gateway-address: ""
  # (optional) port from cluster to gateway
  gateway-port: 0

以上，简单的介绍了flink的配置文件内容及配置项说明。

最后

从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。

因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。

干货主要有：

①1000+CTF历届题库（主流和经典的应该都有了）

②CTF技术文档（最全中文版）

③项目源码（四五十个有趣且经典的练手项目及源码）

④ CTF大赛、web安全、渗透测试方面的视频（适合小白学习）

⑤ 网络安全学习路线图（告别不入流的学习）

⑥ CTF/渗透测试工具镜像文件大全

⑦ 2023密码学/隐身术/PWN技术手册大全

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

扫码领取

python-qing
关注
flink-conf.yaml的参数
JustinMars的博客
07-07 1048
换句话说，并行度如果小于等于集群中可用slot的总数，程序是可以正常执行的，因为slot不一定要全部占用，有十分力气可以只用八分；通过调整slot的数量，我们就可以控制子任务之间的隔离级别。而后者在同一个JVM进程中运行的任务，将共享TCP连接和心跳消息，也可能共享数据集和数据结构，这就减少了每个任务的运行开销，在降低隔离级别的同时提升了性能。如果一个TaskManager只有一个slot，那将意味着每个任务都会运行在独立的JVM中（当然，该JVM可能是通过一个特定的容器启动的）；
Flink 配置文件的深度解读
最新发布
RodJohnsonDoctor的专栏
09-03 620
通过了解FApache Flink 的配置文件 (flink-conf.yaml)，掌握 Flink 正确用法;能快速定位生产环境问题以及做好生产实践的规划;Flink 配置文件的深度解读，包括各个配置项的意义和作用，以及它们的默认值。
Flink1.12 flink-conf.yaml配置
GavinKai
11-24 6574
1.配置及注释 1.1定位 flink-conf.yaml是flink的配置文件，优先级在代码和提交参数之后是通用配置 1.2注意点 flink-conf.yaml中配置key/value时候在“:”后面需要有一个空格，否则配置不会生效。 1.3参数解析 #============================================================================== # 集群通用配置 #==============================
Flink配置文件详解-了解flink-conf.yaml的大数据配置
2301_79367634的博客
08-16 1116
而flink-conf.yaml文件就是Flink的主要配置文件之一，它包含了各种关键参数，用于设置Flink的运行时环境和行为。flink-conf.yaml文件位于Flink的conf文件夹下，可以通过编辑该文件来修改Flink的配置。以上仅是flink-conf.yaml文件中的一部分配置项，通过修改这些配置可以对Flink作出适当的调整以获得更佳的性能和效果。taskmanager.memory.task.size: 设置每个TaskManager的任务槽的内存大小。
flink-conf.yaml配置解析
yjh1271845364的博客
01-27 7228
################################################################################ #  Licensed to the Apache Software Foundation (ASF) under one #  or more contributor license agreements.  See the NOTIC...
Flink搭建部署
这家伙什么也没留下!
06-09 1129
flink
Flink的集群的搭建
qq_40870024的博客
12-11 4415
部署方式分类 1.Local 本地部署 2. Standalone 使用Flink自带的资源调度平台进行任务的部署 3. Standalone-HA高可用的部署方式 4. Yarn 部署 1. Local 本地部署 应用场景：开发环境 部署步骤： 设置 JDK运行环境 配置 SSH 免密登录 下载并解压缩 Flink-1.13.1 到 /export/server 修改配置文件 jobmanager.rpc.address: node1 开启flink环境查看web UI监控 开启集群 [root@n
flink实战--flink on yarn
阿华田的博客
10-31 5717
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
flink-conf.yaml
anghiking20140716的博客
02-26 653
Flink 配置文件 对于管理员来说，差不多经常调整的就只有 conf 下的flink-conf.yaml ： 经过初步的调整，大约有以下模块的参数（未优化） Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE ...
flink on yarn 中的flink-conf.yaml参数
JustinMars的博客
07-19 1616
Flink TaskManager 的堆内存的百分比，小于此比例则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。修改配置后，请确保将修改后的。: 如果 Flink TaskManager 的堆内存小于此值，则 Flink 会在 YARN 上启动一个附加的非堆外存储容器。是 Flink 配置文件，用于配置 Flink 应用程序在 YARN 上的运行。: 指定每个 TaskManager 的内存大小，用于 Flink 操作和状态。文件中的参数，你可以调整 Flink 集群的行为和性能。
flink-conf.yaml 配置文件详解
ppwwp的专栏
02-11 7538
如果错误请留言…… ################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See...
【Flink源码篇】Flink提交流程之flink-conf.yaml的解析和3种flink命令行客户端的添加
Bulut0907
09-07 1920
上篇，我们讲解了EnvironmentInformation.logEnvironmentInfo函数。主要是log4j2日志框架如何绑定到Flink、log4j2配置文件和日志路径的定义这篇我们来讲解Flink的flink-conf.yaml和flink命令自定义参数解析。
50-20-190-配置-Flink 配置文件详解-flink-conf.yaml
九师兄
03-12 1413
视图 1.配置列表 # jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManager 的端口号 jobmanager.rpc.port: 6123 # JobManager JVM heap 内存大小 jobmanager.heap.size: 1024m # TaskManager JVM heap 内存大小 taskma...
Flink配置dlink-conf.yaml详细说明
fhrush的博客
01-29 329
1. 基础配置2.高可用配置3. 容错检查点配置4. web配置5.高级配置6.Flink集群配置7.Zookeeper安全配置。
flink-conf.yaml配置详解说明
05-05
Flink-conf.yaml是Flink的全局配置文件，它用于配置Flink集群的各项参数，包括任务管理器、作业管理器、容器化等。下面是一些常见的配置项及其说明： 1. jobmanager.rpc.address：作业管理器的RPC地址。 2. jobmanager.rpc.port：作业管理器的RPC端口。 3. taskmanager.numberOfTaskSlots：每个任务管理器的并行度。 4. taskmanager.heap.size：每个任务管理器的堆内存大小。 5. parallelism.default：默认的并行度。 6. state.backend：状态后端类型，支持Memory、Fs、RocksDB等。 7. high-availability：高可用性配置，支持ZooKeeper、Filesystem等。 8. web.upload.dir：Flink Web UI上传文件的目录。 9. metrics.reporter：指定Metrics报告方式，支持Graphite、InfluxDB、Prometheus等。 10. env.java.home：Java的安装路径。 除了以上列举的常见配置项之外，Flink-conf.yaml还支持其他一些参数配置，可以根据实际需求进行配置。在Flink集群启动前，需要将Flink-conf.yaml文件放置在Flink的conf目录下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值