屏蔽掉Linux上运行Spark（Python版）时的多余信息（INFO）

已于 2022-09-16 18:18:37 修改
阅读量1.1k 收藏 2
点赞数
文章标签： spark log4j java
于 2022-09-16 17:31:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZMC2822846684/article/details/126894339
版权

1.进入你spark的安装目录‘ls’一下

 会显示有一个conf文件夹‘cd’进去后有一个log4j.properties.template文件

2. 需要做的就是在本目录下载再拷贝一份，而后修改即可

cp log4j.properties.template ./log4j.properties
vim log4j.properties

3. 将图示位置原本“INFO”修改为“WARN”保存退出即可

 

 这样就没有多余的提示信息了

 Spark安装环境变量配置参考：

https://blog.csdn.net/ZMC2822846684/article/details/126876110?

ZMC2822846684
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Linux下搭建Spark 的 Python 编程环境的方法
09-15
在Linux系统中搭建Spark的Python编程环境，首先要确保系统中已经安装了Java 8或更高版本，因为Spark运行依赖Java环境。接下来，你需要从Spark的官方网站下载最新版本的Spark（例如2.4.2），并将下载的tar.gz文件解压...
Spark入门（Python版）
02-02
Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(BigData)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业...
去除在终端中运行spark打印的INFO信息
最新发布
m0_70673163的博客
05-08 1342
本人的spark版本是spark-3.3.1-bin-hadoop3的，不同版本的文件名称跟文件内容可能不一样，需要随机应变。
【Spark】【设置】关闭INFO提示
萌狼蓝天の技术栈
10-29 1416
目的：关闭INFO提示 方法：通过修改配置文件实现 操作文件：Hadoop/conf/log4j.properties.template 操作1：复制模板文件使用 cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties 操作2：修改配置文件 将配置文件中的 log4j.rootCategor...
笔记--Spark中运行INFO怎么去掉？
ohMyGodSun的博客
10-17 640
在spark的安装目录下的conf目录里，把log4j文件copy到项目的src文件夹下面。 把后缀template去掉 log4j.rootCategory=INFO, console 改为 log4j.rootCategory=ERROR, console
如何屏蔽掉Spark程序中INFO信息--------特好用！！！！！！！
liangsir
01-18 5561
把spark安装包里的conf文件夹里的log4j.properties.templat拷贝到项目scr主目录main下的resources里面 然后把log4j.properties.templat 改名为log4j.properties 最后修改里面的内容： 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERR...
清除在intellij IDEA中运行spark代码时显示大量的Info消息
weixin_39814358的博客
09-19 754
背景： 在intellij IDEA中运行spark程序时，会显示大量无用的INFO信息，以至于输出结果被淹没。 解决方法： 1. 将spark安装目录的conf文件夹中的 log4j.properties 文件，到项目的src文件夹中，再将log4j.properties 中的 log4j.rootCategory=INFO, console 改成 log4j.rootCate...
解决spark运行时控制台打印冗杂的INFO（屏蔽掉无用的INFO）
qq_40068214的博客
06-13 4062
今天在spark和hive整合完后启动SparkSql的时候控制台打印出了好多冗余的信息看起来特别不爽 就一个 show databases； 却打印出来这么多信息，让我着实不大容易找到我想要的信息呀 解决方案：1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties 修改成功后打印 show...
Spark编程基础(Python版).rar
05-06
Spark编程基础(Python版)是大数据处理领域的重要学习资源，主要针对使用Python语言进行Spark开发的初学者。Spark作为一个快速、通用且可扩展的大数据处理框架，尤其在处理大规模数据时，其性能表现优秀，因此在业界...
spark Linux 版本安装包
09-01
spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...
python python控制台忽略警告信息
guoqingru0311的博客
05-13 415
python python控制台忽略警告信息 import warnings warnings.filterwarnings("ignore")
IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息
SunWuKong_Hadoop的博客
10-12 1813
方法一： 修改log4j.properties.template文件名为log4j.properties，并修改内容： log4j.rootCategory=INFO, console 改成 log4j.rootCategory=ERROR, console 或 log4j.rootCategory=WARN, console 只显示ERROR级别的日志。 方法二： 将方法一拷贝出来的文...
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 6250
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
Spark测试代码时，去掉无用的日志
weixin_38051945的博客
03-31 716
废话不多说 import org.apache.log4j.{Level, Logger} import org.apache.spark.internal.Logging object SomeTest extends App with Logging { Logger.getRootLogger.setLevel(Level.WARN) } 继承Logging 这样打印的就是我...
python——屏蔽警告&图片显示中文
shanchuaner的博客
11-20 263
一、屏蔽警告 import os os.environ['TF_CPP_MIN_LOG_LEVEL']='2' 日志信息共有四个等级，按重要性递增为：INFO（通知）<WARNING（警告）<ERROR（错误）<FATAL（致命的）;TF_CPP_MIN_LOG_LEVEL的值不同屏蔽的信息不同，在实际编码过程中，可根据自己的需求设置值。 二、显示中文 python画图，在图中显示乱码，可以添加如下代码： import matplotlib.pyplotas plt plt.rcPara
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
Python log的打印和保存总结
u011412768的博客
11-29 1万+
Python打印和保存log的主要作用是，在我们没空盯着程序运行时，可以在程序或者结果出错的时候根据log文件中的日志信息找出问题所在。 在Python中一般用logging这个自带库来做log的屏幕打印和文件保存，关于logging中信息等级的设置可以参考这篇文章：https://www.cnblogs.com/nancyzhu/p/8551506.html 从自己所用和上面链接可以总结出，logging对log的打印和保存有两种设置方式。 1、log的打印和保存只能二选一 这种方式主要...
运行python时忽略warning、error等红字操作以及相关操作汇总
qq_45511296的博客
11-17 3936
对输出warning和Error进行的操作汇总1、通用解法，调用warning2、调用os包操作 1、通用解法，调用warning 1、通用操作 import warnings warnings.filterwarnings("ignore") 2、调用os包操作 import os os.environ["TF_CPP_MIN_LOG_LEVEL"] = '2' # 只显示 warning 和 Error 序号详解列表，我看了其他博客会有不同的解释，我看完官方解释并且实操后总结下面内容。 1、l
Spark常见问题汇总
aiwode1234的专栏
05-16 1137
注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operation category READ is not supported in state
pyspark在spark上运行python
03-16
Pyspark是Spark的Python API，它允许开发人员使用Python编写Spark应用程序。Pyspark提供了Python编程语言的所有功能，包括Python的标准库和第三方库。使用Pyspark，开发人员可以利用Spark的分布式计算能力，处理大规模数据集。Pyspark可以在Spark集群上运行Python代码，通过Python API访问Spark的分布式计算引擎。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值