修改spark的日志不要打印到屏幕，输出到文件

最新推荐文章于 2022-09-28 17:37:37 发布
最新推荐文章于 2022-09-28 17:37:37 发布
阅读量1.7k 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_41605403/article/details/97135676
版权

复制spark日志配置文件模板：

cd conf
cp log4j.properties.template log4j.properties

修改log4j.properties文件：

log4j.rootCategory=INFO, FILE

log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppender  
log4j.appender.FILE.Threshold=DEBUG  
# 输出日志路径
log4j.appender.FILE.file=/home/spark.log  
log4j.appender.FILE.DatePattern='.'yyyy-MM-dd  
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout  
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n  
# spark  
log4j.logger.org.apache.spark=INFO</code>
今辰念
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark通过kafka-appender指定日志输出到kafka引发的死锁问题
10-15
主要介绍了spark通过kafka-appender指定日志输出到kafka引发的死锁，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
spark 开发中log4j详解与配置步骤
06-12 8639
1 环境 &lt;properties&gt; &lt;scala.version&gt;2.11.8&lt;/scala.version&gt; &lt;spark.version&gt;2.2.0&lt;/spark.version&gt; &lt;hadoop.version&gt;2.6.0-cdh5.7.0&lt;/hadoop.version&gt;
spark job 使用log4j appender 追加日志到本地文件或者mysql
骑着蜗牛向前跑的博客
07-26 699
park job 使用log4j appender 追加日志到本地或者mysql
如何在IDEA中执行Spark时不打印日志
qq_43494013的博客
07-10 363
如何在IDEA中执行Spark时不打印日志
log4j文件
FreedomZzzzz的博客
11-21 358
在resources中 log4j.properties # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for addition...
spark执行结果不打印日志,pom.xml配置
KANGBboy的博客
01-16 1077
spark打印日志设置
Spark合并输出小文件
01-20
在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 ...
Spark SQL 日志处理实战，日志文件20000行
12-16
Spark SQL 日志处理实战，日志文件20000行；Spark SQL 日志处理实战，日志文件20000行；
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
介绍使Spark Streaming Logs自动发送到Kafka。
java 中Spark中将对象序列化存储到hdfs
08-30
主要介绍了java 中Spark中将对象序列化存储到hdfs的相关资料,需要的朋友可以参考下
Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？
Shockang的博客
03-29 3067
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 WHAT Dataset.show 在我们平常 Spark 开发测试中经常使用。 它可以用来展示 Dataset。 重载方法 def show(numRows: Int): Unit def show(): Unit def show(truncate: Boolean): Unit def show(numRows: Int, tru
Spark控制台不打印INFO，只输出结果
weixin_44328257的博客
07-18 2347
我们知道这是日志信息，既然是日志很多人立马就会想到log4j.properties配置文件，肯定不陌生，因此我们可以在项目的src/main/resources目录下新建这一个log4j.properties文件，然后复制如下的配置代码，然后重新运行，日志信息便不出来了。把=号后面的INFO删除，就可以了。当你想要看到日志信息的时候，再把INFO加上，就恢复了日志的打印。有的人就很不喜欢，就想仅仅看到一个输出的结果，怎末做呢？......
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 6071
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
取消Spark中打印日志
Knight
06-20 1805
将spark中的conf目录下的log4j.properties放到ieda中的resources下 将 INFO WARN替换成ERROR 替换快捷键ctrl+r
spark-sql日志屏蔽
jinruoqq的博客
09-28 777
spark-sql日志屏蔽
spark编程09——设置spark-submit提交程序时不在控制台打印日志信息+nohup 命令
SYITwin的博客
04-08 3411
在用spark-submit提交程序时，会打印很多类似图片所示的日志信息，它们会把想要的结果给淹没，所以要想法去除控制台的日志信息。 解决办法：程序中设置日志级别，然后将运行结果保存在nohup.out文件中 //程序中导入 import org.apache.log4j.{Level, Logger} //下面两行代码放在main函数里 Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogge..
【spark】控制日志输出的方法
hyj
09-07 6600
【spark】控制日志输出的方法
log4j配置详解
iqingfen的专栏
11-18 577
################################################################################  #①配置根Logger，其语法为：  #  #log4j.rootLogger = [level],appenderName,appenderName2,...  #level是日志记录的优先级，分为OFF,TRACE,DEBU
spark-sql：将查询结果输出到文件
最新发布
06-06
使用Spark SQL将查询结果输出到文件的步骤如下： 1. 在Spark SQL中执行查询语句，例如： ``` SELECT * FROM table_name WHERE condition; ``` 2. 将查询结果保存到DataFrame中，例如： ``` val resultDF = spark.sql("SELECT * FROM table_name WHERE condition") ``` 3. 将DataFrame中的数据写入到文件中，例如： ``` resultDF.write.format("csv").save("output_file_path") ``` 其中，format("csv")表示将数据以CSV格式写入文件，save("output_file_path")表示将数据保存到指定的文件路径中。 注意：在执行保存操作之前，需要确保输出文件的路径是存在的，并且具有写入权限。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值