spark代码中添加logger_如何在Spark中关闭INFO日志记录？

我使用AWS EC2指南安装了Spark,我可以使用bin / pyspark脚本启动程序,以获得spark提示,也可以成功执行Quick Start quide.

但是,我不能为我的生活弄清楚如何在每个命令之后停止所有详细的INFO记录.

我已经在我的log4j.properties文件中的以下代码(注释掉,设置为OFF)中尝试了几乎所有可能的场景,我在启动应用程序的conf文件夹中以及每个节点上都没有做任何事情.执行每个语句后,我仍然会打印日志记录INFO语句.

我对这应该如何工作非常困惑.

#Set everything to be logged to the console log4j.rootCategory=INFO, console

log4j.appender.console=org.apache.log4j.ConsoleAppender

log4j.appender.console.target=System.err

log4j.appender.console.layout=org.apache.log4j.PatternLayout

log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose

log4j.logger.org.eclipse.jetty=WARN

log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO

log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

当我使用SPARK_PRINT_L