使用idea调试spark信息时，设置不打印INFO信息

最新推荐文章于 2024-06-28 10:17:31 发布
最新推荐文章于 2024-06-28 10:17:31 发布
阅读量3.4k 收藏 6
点赞数 2
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunxiaoju/article/details/105977708
版权

1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示：

2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示：

3、此时在调试spark程序就没有了INFO信息，如下图所示：

sxjlinux
关注
专栏目录
如何在Spark中使用Java？
AI天才研究院
08-16 438
1. 背景介绍 1.1 大数据时代的计算挑战 随着互联网和物联网的快速发展，全球数据量呈爆炸式增长，传统的单机计算模式已经无法满足海量数据的处理需求。大数据技术的出现为解决这一挑战提供了新的思路，而Spark作为新一代大数据处理引擎，以其高效、易用、通用等特点，迅速成为业界主流选择。
基于IntelliJ Idea的Scala开发demo一Spark-SQL开发demo
心相印的专栏
11-14 1229
真正在做数据分析和数据处理的时候，spark-sql还是用得比较的，本文主要给出基于Scala的spark-sql开发demo，本文已经假设IntelliJ Idea上的Scala开发环境，包括SBT已经安装配置完成，如果读者还没有这些准备的话，可以参考我前面的关于IntelliJ Idea上Scala的spark开发环境搭建相关文章。
如何在IDEA中执行Spark时不打印日志
qq_43494013的博客
07-10 468
如何在IDEA中执行Spark时不打印日志
spark log4j.properties
无声的博客
04-10 487
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m
如何设置IDEA日志不显示INFO信息
dd524125153的博客
02-10 2902
第一步 在main目录下创建resources文件夹 然后再resources文件夹里面创建 log4j.properties文件 添加以下内容 log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.Patt
如何设置IDEA日志不显示INFO信息,还你一个清爽的console
qq_43476358的博客
11-07 794
(如果有此文件添加上面文件后不一定生效,因为springboot中的配置优先级的问题)查看项目中是否有其他配置文件,例如我们的这个有个logback的xml文件。在resource下新建log4j.properties。新建完成后同时复制到target中的classes中。全局替换INFO,如下图。
运行IDEA的spark输出很多INFO信息解决方法
我歌月徘徊，我舞影零乱
03-24 2262
在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark 找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties 内部把 log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=ERROR, console...
idea执行spark不打印日志方法
最新发布
m0_50642186的博客
06-28 262
idea执行spark不打印日志方法
idea 设置log级别_idea设置控制台不打印日志
weixin_39529903的博客
12-19 4092
这样做的好处是当想打印数据到控制台查看就特别方便，这个在大数据spark sql使用的多。当然如果代码报错也会打印，这个不必担心。方案Ⅰ方法是将这个log日志文件放到idea的资源目录里即可log4j.properties#设置日志的级别，定义日志信息的输出目的log4j.rootLogger=INFO,R#定义A1的输出目的地为控制台#log4j.appender.A1=org.apache.l...
Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试
liujiesxs的博客
07-18 959
spark环境配置及IDEA配置，Spark入门
在 IDEA 中编写 spark wordcount 程序
a1786742005的博客
03-16 757
一、环境准备 安装好 jdk 安装好 idea 安装好 scala 安装好 windows 编译后的 hadoop 环境变量都要配置好 二、用 maven 将程序打成 jar 包上传到集群运行 1、创建一个 maven 项目 2、安装 scala 插件 3、在项目中添加 scala 插件 4、添加 pom 依赖 <properties> <log4j.ver...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息
ltylzq的博客
01-11 2943
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E
IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息
SunWuKong_Hadoop的博客
10-12 1936
方法一： 修改log4j.properties.template文件名为log4j.properties，并修改内容： log4j.rootCategory=INFO, console 改成 log4j.rootCategory=ERROR, console 或 log4j.rootCategory=WARN, console 只显示ERROR级别的日志。 方法二： 将方法一拷贝出来的文...
idea编写spark应用时，去除info日志
weixin_34107739的博客
09-06 533
2019独角兽企业重金招聘Python工程师标准>>> ...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息（java代码）
liangsir
01-17 884
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的...
IDEA控制台为什么不打印日志
w8y56f的专栏
11-15 1万+
有的时候会发现IDEA的控制台不打印日志，有时候打印，这是为什么呢。 我遇到的一种原因是：其实打印了日志，你没注意而已。 原因 如果日志太长，则会缩成 <1 internal call> 点开后就是完整的日志。如图 点开后 另外一个证据是，将很长的内容的字段注释掉后，就会打印完整的，如图 ...
intellij IDEA隐藏INFO日志信息，只显示ERROR
热门推荐
Learning by doing
06-07 2万+
intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可以了。1，在源码src下面新建文件夹resources，2，右击resources文件夹Mark Directory as 选中Resources Root3，将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下（如果有同学不想...
[Hadoop] IDEA隐藏INFO日志信息
Cindy的博客
09-07 1379
Windows下面使用Intellij IDEA编程，打印的[INFO]信息很多。不想看太多INFO，可以提高日志级别为WARN或者ERROR。 1. 在src/main下面新建resources文件夹，并在resources文件夹上面点右键 - Make Directory As - Resource Root 2. 拷贝spark的conf目录下的log4j.properties文件到上面...
idea去掉spark的日志
前方的路在刚开始
08-04 1775
尤其是这2个，要删除，否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别，包含直接类中添加，和使用继承类（不推荐）spark默认会答应info，信息，他内置有log4j。3.添加log4j.prperties。创建一个这样的文件，名称也要一样。2.修改他的全局配置（不推荐）故，我们有3种方式解决。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值