Flink 程序打印过多日志问题，日志过多解决

最新推荐文章于 2024-07-01 02:25:02 发布
最新推荐文章于 2024-07-01 02:25:02 发布
阅读量1.2k 收藏
点赞数
分类专栏： 大数据 文章标签： flink kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30366667/article/details/129621216
版权
在Flink程序中遇到kafkafetcher和map2/10的日志重复出现，可能由于任务依赖包含了log相关库。为消除这个问题，建议从当前任务的依赖中排除log4j、sl4j和logback等日志框架的依赖。
摘要由CSDN通过智能技术生成

比如在flink 消费kafka的程序中，出现多次kafka fetcher，map 2/10类似的日志，是因为在执行的任务的依赖里有log相关的依赖，建议exclue掉当前执行的任务的依赖中所有log4j,sl4j,logback等相关依赖，就可以解决这个问题

身体健康,万事如意
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FlinkCDC 同步 PostgreSQL -＞ PostgreSQL 数据时日志占满磁盘问题
lg4546的专栏
06-25 1301
1 前段时间遇到一个问题，用Flinkcdc 同步阿里云数据库RDS的postgresql中的数据到本地的 postgresql库中。发生了一个置命的问题。磁盘空间占满，dao'zhi
基于 Flink 的海量日志实时处理系统的实践
http://www.54tianzhisheng.cn/
09-22 1594
海量日志实时处理需求分析 在 11.5 节中讲解了 Flink 如何实时处理异常的日志，在那节中对比分析了几种常用的日志采集工具。我们也知道通常在排查线上异常故障的时候，查询日志总是必不可缺的一部分，但是现在微服务架构下日志都被分散到不同的机器上，日志查询就会比较困难，所以统一的日志收集几乎也是每家公司必不可少的。据笔者调研，不少公司现在是有日志统一的收集，也会去做日志的实时 ETL，利用一些主流...
flink cdc debug 记录
m0_63186268的博客
03-13 337
这两个jar上传至flink/lib依然报错，只能试着在pom.xml文件中添加，直接打进任务jar包可行。flink cdc提交任务至flinkui时，出现bug。
Flink集群日志过大问题解决
m0_61813695的博客
07-10 767
在Flink程序中，可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息，可以将日志级别设置为ERROR。这样，只有错误信息和print()方法输出的结果会显示在控制台上。要设置日志级别，请在Flink项目的resources目录下创建一个名为log4j.properties的文件（如果已经存在，请修改相应的配置）。
如何使用 Flink 每天实时处理百亿条日志？
weixin_42073629的博客
10-25 1105
Sherlock.IO 是 eBay 现有的监控平台，每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。 本文将结合监控系统 Flink 的现状，具体讲述 Flink 在监控系统上的实践和应用，希望给同业人员一些借鉴和启发。 监控系统 Flink 的现状 eBay 的监控平台 Sherlock.IO 每天处理着上百亿条日志（log），事件（event）和指标（metric）。 通过构建 Flink Streaming job 实时处理系
Flink本地DEBUG日志输出到控制台
weixin_42412645的博客
07-21 9688
最近在读Flink源码，于是在本地DEBUG自带的例子源码，但是程序的日志输出级别是INFO，其中很多DEBUG级别的日志是不输出到控制台。怎样来修改日志级别让其输出到控制台方便阅读源码。于是在网上查看了一下Flink使用的log4j日志框架，设置log4j日志级别必须要log4j的配置文件。在编译好的源码中竟然有这个配置文件，那只要修改这个文件就可以在本地控制台看到DEBUG级别的日志了。 l...
flink限制日志文件大小（ 滚动日志配置）
流氓兔的博客
02-09 5726
flink如果不限制日志文件大小，如果报错的情况下，会产生大文件日志。
Flink
小道的博客
12-11 1866
Flink知识点
[Flink]一、Flink1.13
最新发布
weixin_44428807的博客
07-01 907
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
大数据流处理与实时分析:Spark Streaming和Flink Stream SQL的对比与选择
程序员光剑
09-16 2178
随着互联网、移动互联网和物联网等新型经济社会形态的发展，海量的数据在不断涌现。如何高效地处理海量数据并进行有效的分析成为当今IT行业面临的重要课题之一。而对于数据处理框架来说，Apache Spark和Apache Flink都是目前最主流的开源框架，拥有丰富的数据处理功能。因此本文将比较Spark Streaming和Flink Stream SQL，并从两者的优缺点出发，阐述它们之间的区别，并展望其未来的发展方向。
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1092
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
Flink on yarn日志输出
热门推荐
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
Flink 配置日志
u011250186的博客
08-04 1124
1，本地代码调试配置日志： 1，创建log4g.properties文件：内容如下： log4j.rootLogger=INFO,console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{HH:mm:s...
flink如何控制日志输出大小
spring0666的博客
04-22 1209
flink 默认采用log4j的日志输出，调整flink的日志类型 log4j==》logback，主要解决日志过大的问题 1.默认log4j 将lib目录下log4j-1.2-api-2.12.1.jar log4j-api-2.12.1.jar log4j-core-2.12.1.jar log4j-slf4j-impl-2.12.1.jar 备份 把logback的依赖包logback-classic-1.2.3.jar， logback-core-1.2.3.jar 放入的lib中 2.将l...
flink1.13.2的log4j日志打印添加任务名和容器id的解决办法
nhm_lxy的专栏
05-09 468
【代码】flink1.13.2的log4j日志打印添加任务名和容器id的解决办法。
Flink 日志总结
主要分享大数据相关的知识，如Spark、Hudi
12-25 1312
总结一下 Flink 项目代码打印日志的配置。
Flink项目开发记录之将日志输出到kafka
qq_39400373的博客
12-02 2191
Flink项目开发记录之将日志输出到kafka 老规矩，我们先上传所需要的jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> ...
Flink 本地运行日志配置
qq_32323239的博客
06-02 1813
在 src/main/resources 中添加 log4j.properties 文件： 方法二: 使用 logback.xml 在 src/main/resources 中添加 logback.xml 文件： 修改 pom.xml 配置 在引入flink相关依赖之前引入logback相关依赖，如下：
【Flink】Flink Checkpoint 问题排查实用指南
九师兄
01-03 680
首先我们需要了解Flink中Checkpoint的整个流程是怎样的，在了解整个流程之后，我们才能在出问题的时候，更好的进行定位分析。JMtriggercheckpointSource收到triggercheckpoint的PRC，自己开始做snapshot，并往下游发送barrier上面的任何一个步骤不成功，整个checkpoint都会失败。[2]增量checkpoint原理介绍[3]RocksDBStateBackend多线程上传Statehttps。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值