IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

最新推荐文章于 2022-07-18 12:30:46 发布
最新推荐文章于 2022-07-18 12:30:46 发布
阅读量1.7w 收藏 9
点赞数 8
分类专栏： Spark 应用 文章标签： spark intellij
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dabokele/article/details/52599768
版权
应用 同时被 2 个专栏收录
27 篇文章 0 订阅
订阅专栏
Spark
26 篇文章 9 订阅
订阅专栏

　　在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示
　　这里写图片描述

　　要解决这个问题，主要是要正确设置好log4j文件，本文主要分析如何在local模式下，将Spark的INFO信息隐藏，不影响程序中的结果输出。

1、将spark根目录下的log4j.properties文件复制到Intellij IDEA的src路径下
　　此时项目结构如下图所示：
　　这里写图片描述

2、修改log4j.properties文件的内容
　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的日志。

　　再次运行该代码，可以看到INFO信息已经消失
　　这里写图片描述

dabokele
关注
专栏目录
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息
ltylzq的博客
01-11 2891
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E
idea执行spark不打印日志方法
最新发布
m0_50642186的博客
06-28 216
idea执行spark不打印日志方法
idea maven spark 设置不打印info信息--方法1：src-main-resources-log4j.properties 方法2：如下
qq_20936501的博客
08-31 809
方法一： 方法2：
[Spark]如何设置使得spark程序不输出 INFO级别的内容
weixin_33901641的博客
10-29 805
  Spark程序在运行的时候，总是输出很多INFO级别内容 查看了网上的一些文章，进行了试验。 发现在 /etc/spark/conf 目录下，有一个 log4j.properties.template $cp log4j.properties.template log4j.properties 然后，修改下面的这一个行：log4j.rootCategory=INFO, console...
Spark-shell中停止打印INFO日志
l491899327的博客
09-14 510
Spark-shell中停止打印INFO日志spark设置info不显示 spark设置info不显示 spark-shell在运行时常常输出一堆红色文字日志，影响代码体验，那么如何设置使得info不输出呢？ 可在代码中如下设置(亲测有效)： ...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息（java代码）
liangsir
01-17 871
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的...
Spark控制台不打印INFO，只输出结果
weixin_44328257的博客
07-18 2751
我们知道这是日志信息，既然是日志很多人立马就会想到log4j.properties配置文件，肯定不陌生，因此我们可以在项目的src/main/resources目录下新建这一个log4j.properties文件，然后复制如下的配置代码，然后重新运行，日志信息便不出来了。把=号后面的INFO删除，就可以了。当你想要看到日志信息的时候，再把INFO加上，就恢复了日志的打印。有的人就很不喜欢，就想仅仅看到一个输出的结果，怎末做呢？......
spark不输出info
码基的博客
11-28 617
–conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/tmp/test/log4j.properties”
在IDEA工具中设置Spark程序设置日志打印级别
zhaoguowei的博客
11-22 2418
引入logger4j和slf4j的依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency&gt...
完美解决编写IDEA在Local模式下maven Spark程序消除日志中INFO输出
weixin_43695091的博客
07-24 1197
运行spark程序时，由于使用的时spark-core下的log4j-default.properties配置文件，log4j会将INFO级别的信息全部输出到控制台 要消除这些INFO信息，只需要找到log4j-default.properties文件，将其复制一份到项目的src目录下，将第一行的log4j.rootCategory=INFO, console改成log4j.rootCatego...
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 5468
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
IntelliJ IDEA消除Spark程序日志
cibinao9421的博客
07-09 1886
说明 在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示 这里写图片描述 /Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Con...
Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）
Wingkin的博客
12-16 1万+
本文介绍Intellij IDEA编写Spark应用程序，项目使用maven构建。
spark日志报错：Using Spark’s default log4j profile
一起学习
05-24 7402
idea运行spark报错：Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties 错误信息： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 22/05/24 09:41:52 INFO SparkContext: Running Spark version 3.0.0 22/05/24
[Hadoop] IDEA隐藏INFO日志信息
Cindy的博客
09-07 1362
Windows下面使用Intellij IDEA编程，打印的[INFO]信息很多。不想看太多INFO，可以提高日志级别为WARN或者ERROR。 1. 在src/main下面新建resources文件夹，并在resources文件夹上面点右键 - Make Directory As - Resource Root 2. 拷贝spark的conf目录下的log4j.properties文件到上面...
intellij IDEA隐藏INFO日志信息，只显示ERROR
热门推荐
Learning by doing
06-07 2万+
intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可以了。1，在源码src下面新建文件夹resources，2，右击resources文件夹Mark Directory as 选中Resources Root3，将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下（如果有同学不想...
IntelliJ IDEA中运行Java/Scala/Spark程序的步骤与技巧
"在IntelliJ IDEA中创建和运行java/scala/spark程序的方法" 在现代软件开发中，IntelliJ IDEA是一款备受推崇的集成开发环境（IDE），尤其对于Java和Scala开发者而言。本文将深入探讨如何在IntelliJ IDEA中创建和...
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值