spark<log4j配置控制台日志级别输出>

最新推荐文章于 2023-06-27 15:23:54 发布
最新推荐文章于 2023-06-27 15:23:54 发布
阅读量1.1k 收藏
点赞数
分类专栏： spark 文章标签： spark log4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gpwner/article/details/78015830
版权

如果想要输出INFO级别以上的日志做如下配置,在src/main/resources/下新建一个log4j.properties文件，文件中的内容如下：

# Set everything to be logged to the console
log4j.rootCategory=INFO,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

如果要输出WARN级别以上的 日志，则将第一行的INFO修改成WARN即可

Gpwner
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark2.3的配置文件log4j.properties
06-07
spark2.3的配置文件log4j.properties，修改部分是为了只显示ERROR信息，隐藏INFO信息
spark如何自定义log4j配置 及 yarn的应用日志存储
penriver的博客
04-25 1824
在实际工作中，需要针对spark任务的日志输出进行自定义。 1. 相关知识 1.1 spark 日志介绍 以spark2.4.x为例，spark中提供了log4j的方式记录日志，目前使用的版本是log4j-1.2.17，基于properties方式配置 可以在$SPARK_HOME/conf/下，将log4j.properties.template文件copy为log4j.properties来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。 在Spark的co...
使用log4j.properties解决MR和Spark控制台爆红的问题（不影响代码实现）
Null的博客
08-01 917
1.能解决以下问题 spark程序运行时候如下所示效果 MR车灯徐运行时如下所示效果 2.解决办法 新建一个log4j.properties文件 复制下面的代码 # # # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. ...
Spark输出打印日志log4j.properties配置|输出日志只打印WARN以上
SmallScorpion
04-21 942
将日志打印等级配置一下 # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information r...
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
spark修改日志级别
longwei92的博客
06-17 2897
通过SparkSession进行设置 val spark = SparkSession .builder() .appName("AWSMMonitorInfo") .enableHiveSupport() .config("hive.exec.dynamic.partition", true) // 支持 Hive 动态分区 .conf...
Log4j配置学习--日志级别的生效规则
yangkai100522208的博客
06-27 681
1. Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送到控制台、文件等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程2. Log4j由三个重要的组件构成：日志信息的优先级，日志信息的输出目的地，日志信息的输出格式3. 日志级别：ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF。
Log4j 配置详解以及使用案例
SUNK2014的博客
01-05 4639
Log4j 的基本使用案例，以及相关配置信息详解，介绍了 Log4j 中的日志级别等等
log4j配置详解
Java_dragon95的博客
04-06 1万+
log4j配置详解及源码
Log4j日志等级设置详解
编程界明世隐的博客
02-26 2万+
说明： log4j定义了8个级别的log DEBUG INFO WARN ERROR FATAL ALL OFF TRACE 日志记录器（Logger）的行为是分等级的： 1.分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL或者您定义的级别。 2.Log4j建议只使用四个级别，优先级从高到低分别是ERROR、WARN、INFO、DEBUG。 3.如果log level设置在某一个级别上，那么比此级别优先级高的log都能打印出来，就...
Log4j的日志打印级别理解
tonglei111的博客
11-05 1788
之前对log4j日志打印一直没有在意过，等在自己要用的时候却又似懂非懂的样子，今天特意记录一下； 常用的5种日志级别 按照优先级从高到低排序：FATAL, ERROR、WARN、INFO、DEBUG； 通过在配置文件中定义的级别，您可以控制应用程序打印相应级别的日志信息。比如在配置文件汇设置了INFO级别，则应用程序中所有DEBUG级别的日志信息将不被打印出来。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。如果设置级别为INFO，则优先级高于等于INFO级别（如：INFO、
spark通过kafka-appender指定日志输出到kafka引发的死锁问题
10-15
主要介绍了spark通过kafka-appender指定日志输出到kafka引发的死锁，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
Spark三种属性配置方式详解
01-20
随着Spark项目的逐渐成熟, 越来越多的可配置参数被添加到Spark中来。在Spark中提供了三个地方用于配置： ...　3、日志：所有的日志相关的属性可以在log4j.properties文件中进行设置。 　下面对这三种属性设定进行详细
SeleniumWebdriverMavenDemo：Selenium Webdriver + Java + Maven + POM +扩展Spark报告+ Log4j2
02-04
页面对象模型作为Maven-Selenium项目的体系结构 Web应用程序自动化测试套件 ...运行项目并获取报告和日志 运行TestNg Suite 等到项目完全运行。 一旦完成。 展开“报告”文件夹，您将在此处找到具有最新日期和时
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
04-01
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： ...
Spark2.1.1<spark写入Hbase的三种方法性能对比>
Gpwner的博客
06-21 1万+
测试条件以下是我的PC信息 依赖：<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.1</version> </dependency>
Spark2.1.1<scala版本不兼容问题>
Gpwner的博客
06-14 8248
今天在拆分以下数据集的时候area,perimeter,compactness,lengthOfKernel,widthOfKernel,asymmetryCoefficient,lengthOfKernelGroove 15.26,14.84,0.871,5.763,3.312,2.221,5.22 14.88,14.57,0.8811,5.554,3.333,1.018,4.956 14.29,
spark<Dataframe 直接写入hive表>
Gpwner的博客
09-15 7006
import org.apache.spark.rdd.RDD import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql.{DataFrame, SQLContext, SaveMode} import org.apache.spark.{SparkConf, SparkContext}object Main {
Maven<打包Scala程序打不进class文件和依赖的解决办法>
Gpwner的博客
06-18 4847
新建一个Maven项目，开开心心地写完scala程序，在本地调试没什么问题，要打包部署在spark集群上运行的时候却出错了，说找不到主类java.lang.ClassNotFoundException: neu.WordCount at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java
spark log4j配置无效
最新发布
09-29
spark log4j配置无效可能是由于引用中提到的logback-classic-1.1.11.jar引起的。解决方法可以尝试排除该jar包。另外，可以使用引用中的代码来重置配置和重新加载log4j.properties文件。如果你想修改spark2.3的log4j配置文件，可以参考引用中的修改方式。通过修改配置文件中的相关参数，你可以控制日志的显示级别，例如只显示ERROR信息而隐藏INFO信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值