【flink配置系列】flink flink-configuration-configmap.yaml功能源码详解

flink-configuration-configmap.yaml

配置文件主要功能

这个配置文件是用于部署和配置 Flink 应用程序的 Kubernetes ConfigMap。其中包含了两个文件：flink-conf.yaml 和 log4j-console.properties。

• flink-conf.yaml 文件用于设置 Flink 作业管理器（JobManager）和任务管理器（TaskManager）的相关配置，如 RPC 地址、端口号、内存大小等。
• log4j-console.properties 文件用于配置日志输出，包括根日志级别、文件输出路径、滚动策略等。

配置文件加上中文注释

apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  labels:
    app: flink
data:
  # Flink 配置文件
  flink-conf.yaml: |+
    jobmanager.rpc.address: flink-jobmanager   # JobManager 的 RPC 地址
    taskmanager.numberOfTaskSlots: 2           # TaskManager 的任务槽数量
    blob.server.port: 6124                     # Blob 服务器的端口号
    jobmanager.rpc.port: 6123                  # JobManager 的 RPC 端口号
    taskmanager.rpc.port: 6122                 # TaskManager 的 RPC 端口号
    jobmanager.memory.process.size: 1600m      # JobManager 进程的内存大小
    taskmanager.memory.process.size: 1728m     # TaskManager 进程的内存大小
    parallelism.default: 2                     # 默认并行度

  # 日志配置文件
  log4j-console.properties: |+
    # 这会影响用户代码和 Flink 的日志输出
    rootLogger.level = INFO
    rootLogger.appenderRef.console.ref = ConsoleAppender
    rootLogger.appenderRef.rolling.ref = RollingFileAppender

    # 如果只想改变 Flink 的日志输出，取消下面两行的注释
    #logger.flink.name = org.apache.flink
    #logger.flink.level = INFO

    # 以下几行设置常用库和连接器的日志级别为 INFO，根日志级别不会覆盖这些设置
    logger.pekko.name = org.apache.pekko
    logger.pekko.level = INFO
    logger.kafka.name= org.apache.kafka
    logger.kafka.level = INFO
    logger.hadoop.name = org.apache.hadoop
    logger.hadoop.level = INFO
    logger.zookeeper.name = org.apache.zookeeper
    logger.zookeeper.level = INFO

    # 将所有信息输出到控制台
    appender.console.name = ConsoleAppender
    appender.console.type = CONSOLE
    appender.console.layout.type = PatternLayout
    appender.console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    # 将所有信息输出到指定的滚动文件
    appender.rolling.name = RollingFileAppender
    appender.rolling.type = RollingFile
    appender.rolling.append = false
    appender.rolling.fileName = ${sys:log.file}
    appender.rolling.filePattern = ${sys:log.file}.%i
    appender.rolling.layout.type = PatternLayout
    appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
    appender.rolling.policies.type = Policies
    appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
    appender.rolling.policies.size.size=100MB
    appender.rolling.strategy.type = DefaultRolloverStrategy
    appender.rolling.strategy.max = 10

    # 关闭 Netty 通道处理程序的无关（错误）警告日志
    logger.netty.name = org.jboss.netty.channel.DefaultChannelPipeline
    logger.netty.level = OFF

官方链接

• Flink Configuration