Flink本地DEBUG日志输出到控制台

最新推荐文章于 2023-10-12 19:31:51 发布
最新推荐文章于 2023-10-12 19:31:51 发布
阅读量9.6k 收藏 4
点赞数 1
分类专栏： Flink 文章标签： Flink DEBUG DEBUG日志输出到本地
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42412645/article/details/96717397
版权

最近在读Flink源码，于是在本地DEBUG自带的例子源码，但是程序的日志输出级别是INFO，其中很多DEBUG级别的日志是不输出到控制台。怎样来修改日志级别让其输出到控制台方便阅读源码。于是在网上查看了一下Flink使用的log4j日志框架，设置log4j日志级别必须要log4j的配置文件。在编译好的源码中竟然有这个配置文件，那只要修改这个文件就可以在本地控制台看到DEBUG级别的日志了。

  1. log4j的配置文件就在\flink-1.7.2\flink-examples\flink-examples-streaming\src\main\resources目录下
    log4j
  2. 将日志级别从INFO设置为DEBUG，大家可以根据自己需求自行设置
    debug3.运行自动例子
    在这里插入图片描述
weixin_42412645
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-java-本地例子
08-17
在本教程中，我们将深入探讨"flink-java-本地例子"这一主题，它涉及Apache Flink的Java API以及如何在本地环境中运行Flink程序。Apache Flink是一个强大的开源流处理和批处理框架，广泛用于实时数据处理。我们将讨论...
Flink Kafka数据批量写入到数据库
最新发布
03-06
4. **批量写入数据库**：为了将处理后的数据批量写入数据库，我们可以使用 Flink 的 JDBC 输出格式。首先，我们需要配置数据库连接参数，然后创建一个 `JDBCOutputFormat` 并设置 SQL 插入语句。 ```java ...
FlinkX本地DEBUG调试
justlpf的专栏
04-20 293
1、在IDEA中file--open--选择FlinkX源码，将项目导入到IDEA中。用户在本地进行DEBUG能方便理解FlinkX原理和解决数据同步中出现的异常问题。1、用户已经按照开始文档要求在本地下载编译好FlinkX源码。
Flink踩坑之DEBUG日志配置与Sink到Mysql
m0_50670853的博客
03-07 1797
Flink日志配置 log4j，debug需要落盘的话，代码中配置没用，需要在flink/conf/log4j.properties进行修改 代码中使用； Logger logger = LoggerFactory.getLogger(XXXXX.class); logger.debug("This message contains {} placeholders. {}", "origin", JSON.toJSONString(xxxx)); 自用如下： # # Unless required b
Flink 程序打印过多日志问题，日志过多解决
konstantin的博客
03-17 1177
比如在flink 消费kafka的程序中，出现多次kafka fetcher，map 2/10类似的日志，是因为在执行的任务的依赖里有log相关的依赖，建议exclue掉当前执行的任务的依赖中所有log4j,sl4j,logback等相关依赖，就可以解决这个问题。
Flink 本地运行日志配置
qq_32323239的博客
06-02 1761
在 src/main/resources 中添加 log4j.properties 文件： 方法二: 使用 logback.xml 在 src/main/resources 中添加 logback.xml 文件： 修改 pom.xml 配置 在引入flink相关依赖之前引入logback相关依赖，如下：
Flink日志文件配置
大数据进阶之路
06-16 6016
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡，没法查看。 2.2 设置日志写入Kafka集群 针对按照日志文件大小滚动生成文件的方式，可能因为某个错误的问题，需要看好多个日志文件，所以可以把日志文件通过KafkaAppender写入到kafka中，然后通过
Flink集群日志过大问题解决
m0_61813695的博客
07-10 725
在Flink程序中，可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息，可以将日志级别设置为ERROR。这样，只有错误信息和print()方法输出的结果会显示在控制台上。要设置日志级别，请在Flink项目的resources目录下创建一个名为log4j.properties的文件（如果已经存在，请修改相应的配置）。
flink任务常见问题
qq_40844739的博客
08-19 3144
flink
flink日志问题
L13763338360的博客
10-21 4050
flink实时任务，使用了debug，但taskManager上运行的任务一直没有debug级别的日志，只有info日志。 最终回到flink配置，弄清flink/conf下面的日志配置文件作用 log4j.properties：在yarn模式下，jobManager和taskManager上用的log配置都依赖于它！ log4j-cli.properties：flink run启动时的日志依赖于该配置 log4j-yarn-session.properties：用yarn-session.sh启
flink消费kafka到greenplum
05-06
本文将深入探讨如何使用Flink从Kafka消费数据并将其存储到Greenplum，同时也会介绍Flink的数据流（DataStream）和数据集（DataSet）API的使用，以及实时数据处理中的窗口应用。 首先，Apache Flink是一个开源的流...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob...
Flink同步Hdfs数据到doris
10-19
本场景中，我们关注的是如何使用Flink将存储在Hadoop分布式文件系统（HDFS）上的数据同步到Doris分布式列式数据库。以下是关于这个主题的详细解释。 **Flink简介** Apache Flink是一个开源的流处理框架，支持批处理...
Flink on yarn日志输出
热门推荐
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
flink日志调试
wuchongyong的博客
11-23 1116
flink日志
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比
大数据开发、JAVA开发、人工智能AI
10-12 2401
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比。为什么在Yarn上部署时，有.out、.err和.log三个日志文件，而在k8s上部署时只有.log日志文件
【源码｜编译】flink 12 源码编译及使用idea运行、debug
hiliang521的博客
08-09 1515
flink 源码编译运行
Flink 配置日志
qq_31866793的博客
06-12 2638
1，本地代码调试配置日志： 1，创建log4g.properties文件：内容如下： log4j.rootLogger=INFO,console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j...
Flink的StreamExecutionEnvironment和ExecutionEnvironment一点思考
weixin_42412645的博客
07-21 1万+
Flink程序首先就是创建运行环境StreamExecutionEnvironment和ExecutionEnvironment，查看了一下源码这两个类是抽象类，但是getExecutionEnvironment是静态方法。也就是说抽象类里面定义了静态方法同时根据不同的子类类型来new。这样做的好处是提供统一访问接口，具体实现方法根据具体的子类来。这个跟Java模板模式一样。 ...
flink session debug
07-08
另外，Flink 还提供了一些日志和监控工具，如 Flink Web UI 和 Flink 日志文件，可以帮助你在调试过程中获取作业的状态信息、错误日志等。这些工具可以与调试模式结合使用，以提供更全面的调试和故障排除能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值