去掉spark中打印的INFO信息

最新推荐文章于 2023-05-08 10:47:05 发布
最新推荐文章于 2023-05-08 10:47:05 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 错误 （发现及解决）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amazing_Code/article/details/89082003
版权

将spark安装包中一个文件复制到项目的main/resources目录下 ，将名称改为log4j.properties
如下所示：
在这里插入图片描述
在这里插入图片描述
打开该文件，将第一行中的INFO改为ERROR
在这里插入图片描述
以后运行spark程序将不会有info信息打印了

monk use rejoice
关注
专栏目录
如何在Spark-shell中停止打印INFO日志
Lestat.Z.的博客
04-02 2940
文章目录前言解决方法- 使用自定义的Log4j.properties- 在代码中控制 前言 在使用Spark-shell做一些测试时候会产生大量无用的INFO级别的日志，因此想把它们给禁用掉。具体方法如下。 解决方法 - 使用自定义的Log4j.properties log4j.rootLogger=ERROR, console # set the log level for these com...
spark编程09——设置spark-submit提交程序时不在控制台打印日志信息+nohup 命令
SYITwin的博客
04-08 3727
在用spark-submit提交程序时，会打印很多类似图片所示的日志信息，它们会把想要的结果给淹没，所以要想法去除控制台的日志信息。 解决办法：程序中设置日志级别，然后将运行结果保存在nohup.out文件中 //程序中导入 import org.apache.log4j.{Level, Logger} //下面两行代码放在main函数里 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogge..
笔记--Spark中运行INFO怎么去掉？
ohMyGodSun的博客
10-17 669
在spark的安装目录下的conf目录里，把log4j文件copy到项目的src文件夹下面。 把后缀template去掉 log4j.rootCategory=INFO, console 改为 log4j.rootCategory=ERROR, console
【Spark】【设置】关闭INFO提示
萌狼蓝天の技术栈
10-29 1446
目的：关闭INFO提示 方法：通过修改配置文件实现 操作文件：Hadoop/conf/log4j.properties.template 操作1：复制模板文件使用 cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties 操作2：修改配置文件 将配置文件中的 log4j.rootCategor...
将SPARK启动和运行时的一些INFO信息过滤掉
sunzz679的专栏
11-23 6963
我们在每次启动和运行SPARK时，会出现大量的INFO信息，一些WARN和ERROR信息隐藏在其中，这可能会被我们忽略掉，同时对阅读造成了很多不便，所有可以将这些不太重要的信息过滤掉。方法是： 1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties，可以使用下面的语句完成： $ cp log4j.pr
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO）
ZMC2822846684的博客
09-16 1179
屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO），scala应该也是一样的吧（没试过）
spark2.3的配置文件log4j.properties
06-07
spark2.3的配置文件log4j.properties，修改部分是为了只显示ERROR信息，隐藏INFO信息
如何在 Spark 中使用算子来处理数据
最新发布
03-14
### 如何在 Spark 中使用算子来处理数据 在大数据处理领域，Apache Spark 作为一种高效且功能全面的数据处理引擎，其核心优势在于提供了一系列高级工具和技术来简化大规模数据集的操作。其中，Spark 算子...
完美解决编写IDEA在Local模式下maven Spark程序消除日志中INFO输出
weixin_43695091的博客
07-24 1215
运行spark程序时，由于使用的时spark-core下的log4j-default.properties配置文件，log4j会将INFO级别的信息全部输出到控制台 要消除这些INFO信息，只需要找到log4j-default.properties文件，将其复制一份到项目的src目录下，将第一行的log4j.rootCategory=INFO, console改成log4j.rootCatego...
解决spark运行时控制台打印冗杂的INFO（屏蔽掉无用的INFO）
qq_40068214的博客
06-13 4285
今天在spark和hive整合完后启动SparkSql的时候控制台打印出了好多冗余的信息看起来特别不爽 就一个 show databases； 却打印出来这么多信息，让我着实不大容易找到我想要的信息呀 解决方案：1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties 修改成功后打印 show...
Spark控制台不打印INFO，只输出结果
weixin_44328257的博客
07-18 2864
我们知道这是日志信息，既然是日志很多人立马就会想到log4j.properties配置文件，肯定不陌生，因此我们可以在项目的src/main/resources目录下新建这一个log4j.properties文件，然后复制如下的配置代码，然后重新运行，日志信息便不出来了。把=号后面的INFO删除，就可以了。当你想要看到日志信息的时候，再把INFO加上，就恢复了日志的打印。有的人就很不喜欢，就想仅仅看到一个输出的结果，怎末做呢？......
Spark-shell中停止打印INFO日志
l491899327的博客
09-14 527
Spark-shell中停止打印INFO日志spark设置info不显示 spark设置info不显示 spark-shell在运行时常常输出一堆红色文字日志，影响代码体验，那么如何设置使得info不输出呢？ 可在代码中如下设置(亲测有效)： ...
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 6462
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
如何屏蔽掉Spark程序中INFO信息--------特好用！！！！！！！
liangsir
01-18 5626
把spark安装包里的conf文件夹里的log4j.properties.templat拷贝到项目scr主目录main下的resources里面 然后把log4j.properties.templat 改名为log4j.properties 最后修改里面的内容： 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERR...
去除在终端中运行spark打印的INFO信息
m0_70673163的博客
05-08 1415
本人的spark版本是spark-3.3.1-bin-hadoop3的，不同版本的文件名称跟文件内容可能不一样，需要随机应变。
运行python时忽略warning、error等红字操作以及相关操作汇总
qq_45511296的博客
11-17 4420
对输出warning和Error进行的操作汇总1、通用解法，调用warning2、调用os包操作 1、通用解法，调用warning 1、通用操作 import warnings warnings.filterwarnings("ignore") 2、调用os包操作 import os os.environ["TF_CPP_MIN_LOG_LEVEL"] = '2' # 只显示 warning 和 Error 序号详解列表，我看了其他博客会有不同的解释，我看完官方解释并且实操后总结下面内容。 1、l
[Spark]如何设置使得spark程序不输出 INFO级别的内容
weixin_33901641的博客
10-29 812
  Spark程序在运行的时候，总是输出很多INFO级别内容 查看了网上的一些文章，进行了试验。 发现在 /etc/spark/conf 目录下，有一个 log4j.properties.template $cp log4j.properties.template log4j.properties 然后，修改下面的这一个行：log4j.rootCategory=INFO, console...
使用idea调试spark信息时，设置不打印INFO信息
sxj的专栏
05-07 3440
1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示： 2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示...
spark如何打印重复数据
05-13
在Spark中，可以使用`groupBy()`和`count()`函数来打印重复数据。 例如，假设我们有一个名为`data`的DataFrame，它有一个名为`col_name`的列，我们想要找出重复的值并打印它们。可以使用以下代码： ```scala data.groupBy("col_name") .count() .filter("count > 1") .show() ``` 这将对`col_name`列中的所有值进行分组，并计算每个值的出现次数。然后，我们过滤掉计数小于等于1的记录，并使用`show()`函数将结果打印出来。 如果你只想打印重复的值，可以使用以下代码： ```scala data.groupBy("col_name") .count() .filter("count > 1") .select("col_name") .distinct() .show() ``` 这将对`col_name`列中的所有值进行分组，并计算每个值的出现次数。然后，我们过滤掉计数小于等于1的记录，并选择列`col_name`，最后通过`distinct()`函数去除重复值并将结果打印出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值