Flink本地DEBUG日志输出到控制台

最新推荐文章于 2023-12-26 09:48:26 发布
最新推荐文章于 2023-12-26 09:48:26 发布
阅读量9.8k 收藏 4
点赞数 1
分类专栏： Flink 文章标签： Flink DEBUG DEBUG日志输出到本地
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42412645/article/details/96717397
版权

最近在读Flink源码，于是在本地DEBUG自带的例子源码，但是程序的日志输出级别是INFO，其中很多DEBUG级别的日志是不输出到控制台。怎样来修改日志级别让其输出到控制台方便阅读源码。于是在网上查看了一下Flink使用的log4j日志框架，设置log4j日志级别必须要log4j的配置文件。在编译好的源码中竟然有这个配置文件，那只要修改这个文件就可以在本地控制台看到DEBUG级别的日志了。

  1. log4j的配置文件就在\flink-1.7.2\flink-examples\flink-examples-streaming\src\main\resources目录下
    log4j
  2. 将日志级别从INFO设置为DEBUG，大家可以根据自己需求自行设置
    debug3.运行自动例子
    在这里插入图片描述
Flink 日志总结
主要分享大数据相关的知识，如Spark、Hudi
12-25 1529
总结一下 Flink 项目代码打印日志的配置。
Flink日志配置
最新发布
chanyue123的博客
12-05 1123
Flink的日志配置详解
Flink on yarn日志输出
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
Flink踩坑之DEBUG日志配置与Sink到Mysql
m0_50670853的博客
03-07 1881
Flink日志配置 log4j，debug需要落盘的话，代码中配置没用，需要在flink/conf/log4j.properties进行修改 代码中使用； Logger logger = LoggerFactory.getLogger(XXXXX.class); logger.debug("This message contains {} placeholders. {}", "origin", JSON.toJSONString(xxxx)); 自用如下： # # Unless required b
Flink 程序打印过多日志问题，日志过多解决
konstantin的博客
03-17 1376
比如在flink 消费kafka的程序中，出现多次kafka fetcher，map 2/10类似的日志，是因为在执行的任务的依赖里有log相关的依赖，建议exclue掉当前执行的任务的依赖中所有log4j,sl4j,logback等相关依赖，就可以解决这个问题。
flink日志调试
wuchongyong的博客
11-23 1185
flink日志
Java中使用log4j进行日志打印，轻松实现日志输出和管理
猿小白的博客
03-28 4334
控制台输出格式为PatternLayout指定的格式，文件输出格式也为PatternLayout指定的格式，文件名为/path/to/log/file.log，文件大小不超过10MB，最多保留10个备份文件。log4j支持将日志输出到不同的目的地，例如控制台、文件、数据库等。在项目的classpath下创建log4j.properties文件，配置日志输出的级别、输出目的地、输出格式等信息。其中，Logger.getLogger()方法的参数为当前类的Class对象，可以保证日志输出的类名和行号正确。
Flink项目日志打印冲突
qq_31866793的博客
01-12 2383
1，正常在resource下，log4j.properties文件可以控制日志的级别 如图： 2，然而，在突然有一天，你发现flink控制台打印的日志不受你的控制了。 花费时间解决冲突...... 然而一点效果都没有。。。。 3，解决办法 1）肯定是包冲突，搜索除log4j意外的日志打印,比如 （下面的logback被我移除了） 2）添加xml ，logback.xml放置在resources下面 内容如下： <!-- ~ Licensed ...
Flink--logback日志记录
大风起兮云飞扬
04-17 6459
1、场景  Flink内置的是log4j的记录日志，需要切换成logback进行记录。因为在pom中引用了flink_kafka_connector等依赖, 在其中遇到一些问题，特此记录。原先pom.xml &lt;properties&gt; &lt;project.build.sourceEncoding&gt;UTF-8&lt;/project.build.sourceEncoding&...
SpringBoot运行Kafka日志输出太多怎么办？一文教你如何调试日志配置
JAVA求生之路——博主406766467
06-12 2412
logback.xml内容
FlinkX本地DEBUG调试
justlpf的专栏
04-20 353
1、在IDEA中file--open--选择FlinkX源码，将项目导入到IDEA中。用户在本地进行DEBUG能方便理解FlinkX原理和解决数据同步中出现的异常问题。1、用户已经按照开始文档要求在本地下载编译好FlinkX源码。
flink log4j2 配置日志输出
qq_27474277的博客
03-03 3161
flink log4j2 配置文件
Flink配log4j2日志输出
m0_50670853的博客
04-26 5234
一. idea中配置 1. resources文件夹添加log4j2.xml文件 <?xml version="1.0" encoding="UTF-8"?> <configuration monitorInterval="5"> <Properties> <property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%
flink日志配置
weixin_42094092的博客
09-08 1033
1.引入依赖 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.21</version> </dependency> <dependency>
Flink本地Debug调试的方法和注意点
weixin_44883450的博客
09-14 2516
flink项目如何本地debug调试，毕竟和后端项目不同。本文介绍flink项目本地debug方法和注意点。
Flink WordCount、打开Flink的日志输出、Spark WordCount 和 Flink WordCount 的运行流程对比...
赤兔胭脂小吕布的博客
03-18 544
目录Flink WordCount导入依赖WordCount 代码打开Flink的日志输出1、导入log4j的依赖2、将log4j的配置文件放在项目的resources目录下Spark WordCount 和 Flink WordCount 的运行流程对比Flink WordCount 导入依赖 <properties> <project.build.sourc...
在idea中如何在控制台输出日志？——用log4j
热门推荐
weixin_44107140的博客
07-22 1万+
简单记录下idea中如何配置使得在控制台输出日志 首先做个对比，输出日志和不输出日志有什么区别? 下面的例子是我在学习mybatis中查询数据库时返回的结果 不输出日志的结果显示如下： 输出日志的结果显示如下： 经过对比，是不是在输出结果的同时把日志也给打印出来显示更方便我们调试，在有错误时也能让我们更容易发现并更正错误。 那么，怎么做呢？往下 首先在我们的maven项目下的pom.xml文件添加以下的依赖： <dependency> .
Flink日志文件配置详解
CqcVue的博客
09-18 1969
在上述示例中，我们将根日志记录器（org.apache.flink）的级别设置为INFO，表示只打印INFO级别及以上的日志信息。同时，我们将数据流API的日志记录器（org.apache.flink.streaming.api.datastream）的级别设置为DEBUG，表示除了INFO级别的日志信息外，还打印DEBUG级别的日志信息。Flink的日志输出路径配置项用于指定日志文件的存储路径。综上所述，通过配置Flink的日志文件，我们可以灵活地控制日志级别和日志输出路径，以满足不同场景下的需求。
Flink的简单使用
qq_41961134的博客
12-26 1366
一句话总结，Flink就是一个分布式，高可用，高性能的流处理框架。
flink session debug
07-08
在 Flink 的 session 模式下进行调试可以通过以下步骤实现： 1. 配置调试环境：在 Flink 的配置文件中，可以设置 `debug.mode` 参数为 `true`，以启用调试模式。 2. 启动调试模式：启动 Flink 集群，并将作业提交到集群中。在提交作业时，可以使用 `--debug` 参数来启动调试模式。 3. 连接调试器：一旦作业进入调试模式，可以使用 IDE（如 IntelliJ IDEA）或远程调试工具（如 Java VisualVM）连接到运行中的 TaskManager 进程。 4. 设置断点：在连接到 TaskManager 后，可以在代码中设置断点，以便在特定的代码行进行暂停和调试。 5. 执行调试：触发作业的执行，当代码执行到设置的断点时，会暂停执行，并允许你检查变量、查看堆栈跟踪等。 6. 调试操作：在调试模式下，可以使用调试工具提供的功能进行单步执行、变量查看、堆栈跟踪分析等操作，以帮助分析和解决问题。 需要注意的是，调试模式可能会对性能产生一定的影响，因为它会暂停任务的执行，并且可能会增加网络通信的开销。因此，在正式生产环境中建议避免频繁使用调试模式。 另外，Flink 还提供了一些日志和监控工具，如 Flink Web UI 和 Flink 日志文件，可以帮助你在调试过程中获取作业的状态信息、错误日志等。这些工具可以与调试模式结合使用，以提供更全面的调试和故障排除能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值