flink如何控制日志输出大小

最新推荐文章于 2023-03-17 15:07:22 发布
最新推荐文章于 2023-03-17 15:07:22 发布
阅读量1.1k 收藏
点赞数
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spring0666/article/details/116014620
版权

flink 默认采用log4j的日志输出， 调整flink的日志类型 log4j==》logback，主要解决日志过大的问题
1.默认log4j 将lib目录下log4j-1.2-api-2.12.1.jar  log4j-api-2.12.1.jar  log4j-core-2.12.1.jar  log4j-slf4j-impl-2.12.1.jar 备份
把logback的依赖包logback-classic-1.2.3.jar， logback-core-1.2.3.jar 放入的lib中
2.将log4j.propertios 去掉，或重名名即可

 

 

spring0666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flink-sql集成rabbitmq
06-29
flink-sql集成rabbitmq
Flink集群日志过大问题解决
m0_61813695的博客
07-10 571
在Flink程序中，可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息，可以将日志级别设置为ERROR。这样，只有错误信息和print()方法输出的结果会显示在控制台上。要设置日志级别，请在Flink项目的resources目录下创建一个名为log4j.properties的文件（如果已经存在，请修改相应的配置）。
Flink on yarn日志输出
热门推荐
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
flink限制日志文件大小（ 滚动日志配置）
流氓兔的博客
02-09 5439
flink如果不限制日志文件大小，如果报错的情况下，会产生大文件日志。
Hive产生大量Info日志的问题（由Flink On Yarn配置引起的）
weixin_46321861的博客
02-07 1458
Hive打印大量的INFO日志（由于Flink On Yarn 配置引起的）
Flink 程序打印过多日志问题，日志过多解决
konstantin的博客
03-17 1038
比如在flink 消费kafka的程序中，出现多次kafka fetcher，map 2/10类似的日志，是因为在执行的任务的依赖里有log相关的依赖，建议exclue掉当前执行的任务的依赖中所有log4j,sl4j,logback等相关依赖，就可以解决这个问题。
Flink日志文件配置
大数据进阶之路
06-16 5732
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡，没法查看。 2.2 设置日志写入Kafka集群 针对按照日志文件大小滚动生成文件的方式，可能因为某个错误的问题，需要看好多个日志文件，所以可以把日志文件通过KafkaAppender写入到kafka中，然后通过
Flink1.11.2 on YARN滚动日志配置
仙道Bob的专栏
04-14 1650
Flink1.11 on Yarn默认日志是log4j MainAppender非滚动的。如果是流式任务，任务就会常驻，这样日志文件会越来越大(尤其是Task Managers日志)，不加处理磁盘空间就会越占越大，页面日志加载响应也会卡顿。所以可以对Flink的日志做一个滚动配置，这样就可以控制日志文件大小。 flink on yarn用的log配置默认是flink/conf/log4j.properties配置文件，可修改为： # 滚动日志的配置 # This affects logging fo.
log4j配置_Flink 1.11 日志文件该如何配置？
weixin_39540315的博客
11-24 2356
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink 1.11 之前在 Flink 1.11 之前，Flink 使用的日志是 Log4j，配置文件 log4j.properties 中的内容如下：# This affects logging for both user code and Flinklog4j.rootLogger=INFO,...
限制日志大小记录
HongDaYu的搬砖之路
08-21 205
... ...
Flink-1.16.2 CDH6.3.2
最新发布
09-26
CDH6.3.2集成安装Flink-1.16.2，所需的包都在文件里面了，不用再自己打包了 参考部署教程： https://blog.csdn.net/qq_31454379/article/details/110440037 https://www.cnblogs.com/lshan/p/16469294.html
flink 1.15.0安装包
05-06
flink 1.15.0安装包
实验8 Flink初级编程实践
06-28
编写Fink程序对NC程序发来的单词进行实时处理，计算词频，并输出词频统计结果。要求首先在IntelliJ IDEA中开发和调试程序，然后打包成JAR包部署到Flink中运行。 使用IntelliJ IDEA写java： 运行NC并输入数据： 运行...
Flink Phoenix connector依赖包
06-02
flink sql读写phoenix所使用到的连接器依赖包： flink-sql-connector-phoenix-1.14-1.0.jar 使用示例： create table tab2( ID STRING, NAME STRING, PRIMARY KEY (ID) NOT ENFORCED )WITH( 'connector' = '...
流计算 Oceanus | Flink JVM 内存超限的分析方法总结
cloudbigdata的博客
01-21 3024
作者：董伟柯，腾讯 CSIG 高级工程师 问题背景 前段时间，某客户线上运行的大作业（并行度 200 左右）遇到了 TaskManager JVM 内存超限问题（实际内存用量 4.1G > 容器设定的最大阈值 4.0G），被 YARN 的 pmem-check 机制检测到并发送了 SIGTERM（kill）信号终止该 container，最终导致作业出现崩溃。这个问题近期出现了好几次，客户希望能找到解决方案，避免国庆期间线上业务受到影响。 在 Flink 配置项中，提供了很多内存参数设定。我们逐一检查
Spark 线程问题、日志文件过大
搬砖の隔壁老王
06-16 1056
1. Spark 线程问题 实时服务器部署着多个Spark和Flink实时任务,Spark任务运行一段时间后发现几个任务异常结束，将失败的任务重启。运行几分钟，发现本来运行正常的任务也异常结束，重启多次依旧如此。开始怀疑是集群资源不足造成了，查看CM中 Yarn的资源池发现资源充足，接着查看运行失败任务的日志，发现共同异常：unable to create new native thread 出现问题找根本原因，于是就问了度娘，解决方法如下： 1、查看系统线程数 ulimit -u 这是修改后的，修改
FlinkCDC 同步 PostgreSQL -＞ PostgreSQL 数据时日志占满磁盘问题
lg4546的专栏
06-25 1149
1 前段时间遇到一个问题，用Flinkcdc 同步阿里云数据库RDS的postgresql中的数据到本地的 postgresql库中。发生了一个置命的问题。磁盘空间占满，dao'zhi
Flink 大状态存储 & 状态TTL
窦小雨的小点子
12-08 3265
什么是Flink大状态存储？ 举个栗子。现有用户访问流数据，需统计每个用户PV，用户量级为3亿。如何计算？ 假定每个用户ID为50字节。那么3亿用户ID的存储需要：50 b * 3 亿 ≈ 13 G ，那么可以直接存在job内存中，如果担心job重启，内存数据丢失，可以放在redis中，或者Aerospike（一种用磁盘的kv存储）。 那如果状态再大一些呢？再举个栗子：某广告场景下，点击数据需要根据请求ID 到请求日志中取相关维度信息。假设请求发生后，24小时之内，都有可能发生点击，那么就需要将请求.
SpringBoot 整合slf4j 日志配置
niu1109的博客
04-26 1万+
SpringBoot 整合slf4j 日志配置 1 为什么日志很重要 日志，作为一个应用系统的重要部分，然而并不会在项目预研或需求设计阶段就作为一个功能模块单独规划设计，但这丝毫不影响它在任何一个系统中的重要的地位。 为了保证服务的高可用，及时发现问题，迅速解决问题等诉求，所以生产环境一旦出现问题，预警系统就会通过邮件、短信甚至电话的方式实施多维轰炸模式，确保相关负责人不错过每一个可能的bug。 **预警系统判断疑似bug大部分源于日志。**比如某个微服务接口由于各种原因导致频繁调用出错，此时调用端会捕获这
flink广播流输出
05-26
在Flink中，可以使用BroadcastStream将一个DataStream广播到所有TaskManager中的Task上，从而实现任务间的数据共享。具体的输出方式取决于你想要将广播流应用到哪个算子上。 例如，将广播流应用到map算子上，可以使用broadcast()方法将BroadcastStream与对应的DataStream连接起来，然后在map算子中使用getBroadcastVariable()方法获取广播流数据并进行处理。 示例代码如下： ```java BroadcastStream<String> broadcastStream = ...;// 广播流 DataStream<String> dataStream = ...;// 数据流 // 将广播流连接到数据流 DataStream<String> resultStream = dataStream.map(new RichMapFunction<String, String>() { List<String> broadcastData = null; @Override public void open(Configuration config) { // 获取广播流数据 broadcastData = getRuntimeContext().getBroadcastVariable("broadcast-name"); } @Override public String map(String value) throws Exception { // 处理数据流数据和广播流数据 ... return result; } }).withBroadcastSet(broadcastStream, "broadcast-name"); resultStream.print(); ``` 在这个示例中，我们将广播流与数据流连接起来，并在map算子中使用getBroadcastVariable()方法获取广播流数据。具体的处理逻辑可以根据实际需要进行编写。最后，我们将处理后的结果输出到控制台上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值