【spark】控制日志输出的方法

已于 2022-12-12 09:40:55 修改
阅读量6.5k 收藏 6
点赞数 2
分类专栏： 大数据 Spark技术经验 文章标签： spark 日志
于 2021-09-07 14:32:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyj_king/article/details/120157160
版权

目录

一、控制日志输出方法

二、代码测试

一、控制日志输出方法

1、使用spark默认的log4j配置文件设置日志输出级别

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

Logger.getLogger("org").setLevel(Level.ERROR)

注意：此方法要放在主程序的首行。靠后放则对其上面代码的输出日志级别控制不起作用。

2、使用sparkContext设置日志输出级别

sparkContext.setLogLevel("ERROR")

3、也可以使用scala自带的日志控制方法

val logger: slf4j.Logger = org.slf4j.LoggerFactory.getLogger(this.getClass)

logger.info("要输出的日志信息")

二、代码测试

1、使用spark默认的log4j配置文件设置日志输出级别

package com.gl.test


import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}

object Test {

  case class DateT(name: String, birthday: String)

  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ERROR)
    val spark = SparkSession.builder().master("local[*]").appName("testDate").getOrCreate()
    import spark.implicits._
    import org.apache.spark.sql.functions._

    val DateTest: DataFrame = Seq(
      DateT("aa", "1995-12-11 12:12:13"),
      DateT("bb", "2000-01-14 10:10:57")
    ).toDF()

    DateTest.withColumn("current_date", current_date())
      .withColumn("current_timestamp", current_timestamp())
      .withColumn("date", date_format(current_timestamp(), "yyyy-MM-dd HH:mm:ss"))
      .withColumn("date1", date_format(current_timestamp(), "yyyy-MM-dd hh:mm:ss"))
      .withColumn("date2", date_format(col("birthday"), "yyyy-MM-dd"))
      .show(false)

    spark.close()
  }
}

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
+----+-------------------+------------+-----------------------+-------------------+-------------------+----------+
|name|birthday           |current_date|current_timestamp      |date               |date1              |date2     |
+----+-------------------+------------+-----------------------+-------------------+-------------------+----------+
|aa  |1995-12-11 12:12:13|2021-09-07  |2021-09-07 14:24:30.421|2021-09-07 14:24:30|2021-09-07 02:24:30|1995-12-11|
|bb  |2000-01-14 10:10:57|2021-09-07  |2021-09-07 14:24:30.421|2021-09-07 14:24:30|2021-09-07 02:24:30|2000-01-14|
+----+-------------------+------------+-----------------------+-------------------+-------------------+----------+

2、使用sparkContext设置日志输出级别

package com.gl.test


import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}

object Test {

  case class DateT(name: String, birthday: String)

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("testDate").getOrCreate()
    import spark.implicits._
    import org.apache.spark.sql.functions._
    
    val sc = spark.sparkContext
    sc.setLogLevel("ERROR")

    val DateTest: DataFrame = Seq(
      DateT("aa", "1995-12-11 12:12:13"),
      DateT("bb", "2000-01-14 10:10:57")
    ).toDF()

    DateTest.withColumn("current_date", current_date())
      .withColumn("current_timestamp", current_timestamp())
      .withColumn("date", date_format(current_timestamp(), "yyyy-MM-dd HH:mm:ss"))
      .withColumn("date1", date_format(current_timestamp(), "yyyy-MM-dd hh:mm:ss"))
      .withColumn("date2", date_format(col("birthday"), "yyyy-MM-dd"))
      .show(false)

    spark.close()
  }
}

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/09/07 14:25:46 INFO SparkContext: Running Spark version 2.2.1
21/09/07 14:25:46 INFO SparkContext: Submitted application: testDate
21/09/07 14:25:46 INFO SecurityManager: Changing view acls to: lenovo
21/09/07 14:25:46 INFO SecurityManager: Changing modify acls to: lenovo
21/09/07 14:25:46 INFO SecurityManager: Changing view acls groups to: 
21/09/07 14:25:46 INFO SecurityManager: Changing modify acls groups to: 
21/09/07 14:25:46 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(lenovo); groups with view permissions: Set(); users  with modify permissions: Set(lenovo); groups with modify permissions: Set()
21/09/07 14:25:47 INFO Utils: Successfully started service 'sparkDriver' on port 54804.
21/09/07 14:25:47 INFO SparkEnv: Registering MapOutputTracker
21/09/07 14:25:47 INFO SparkEnv: Registering BlockManagerMaster
21/09/07 14:25:47 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
21/09/07 14:25:47 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
21/09/07 14:25:47 INFO DiskBlockManager: Created local directory at C:\Users\lenovo\AppData\Local\Temp\blockmgr-483269e3-e891-4117-bf05-bf95ace77941
21/09/07 14:25:47 INFO MemoryStore: MemoryStore started with capacity 1990.8 MB
21/09/07 14:25:47 INFO SparkEnv: Registering OutputCommitCoordinator
21/09/07 14:25:47 INFO Utils: Successfully started service 'SparkUI' on port 4040.
21/09/07 14:25:47 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://192.168.110.70:4040
21/09/07 14:25:47 INFO Executor: Starting executor ID driver on host localhost
21/09/07 14:25:47 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 54845.
21/09/07 14:25:47 INFO NettyBlockTransferService: Server created on 192.168.110.70:54845
21/09/07 14:25:47 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/09/07 14:25:47 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.110.70, 54845, None)
21/09/07 14:25:47 INFO BlockManagerMasterEndpoint: Registering block manager 192.168.110.70:54845 with 1990.8 MB RAM, BlockManagerId(driver, 192.168.110.70, 54845, None)
21/09/07 14:25:47 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 192.168.110.70, 54845, None)
21/09/07 14:25:47 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 192.168.110.70, 54845, None)
+----+-------------------+------------+-----------------------+-------------------+-------------------+----------+
|name|birthday           |current_date|current_timestamp      |date               |date1              |date2     |
+----+-------------------+------------+-----------------------+-------------------+-------------------+----------+
|aa  |1995-12-11 12:12:13|2021-09-07  |2021-09-07 14:25:49.728|2021-09-07 14:25:49|2021-09-07 02:25:49|1995-12-11|
|bb  |2000-01-14 10:10:57|2021-09-07  |2021-09-07 14:25:49.728|2021-09-07 14:25:49|2021-09-07 02:25:49|2000-01-14|
+----+-------------------+------------+-----------------------+-------------------+-------------------+----------+
郝少
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
SparkStreaming流式日志过滤与分析
05-30
记得自己要引入环境 （1）利用SparkStreaming从文件目录读入日志信息，日志内容包含： ”日志级别、函数名、日志内容“ 三个字段，字段之间以空格拆分。请看数据源的文件。 （2）对读入都日志信息流进行指定筛选出日志级别为error或warn的，并输出到外部MySQL中。 需要用到的函数 （1）输入采用textFileStream()算子 （2）输出采用foreachRDD()算子 （3）将RDD转为DataFrame （4）DataFrame注册为临时表，使用SQL过滤 （5）将过滤后的数据保存到MySQL
spark通过kafka-appender指定日志输出到kafka引发的死锁问题
10-15
主要介绍了spark通过kafka-appender指定日志输出到kafka引发的死锁，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
Spark 设置日志级别
最新发布
houzhizhen的专栏
02-23 425
查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties，如果没有，则执行以下创建 log4j2 配置文件。
Spark合并输出小文件
01-20
在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle） val rdd3 = rdd1.repartition(8) 说明：   coalesce：coalesce()方法的作用是返回指定一个新的指定分区的Rdd，如果是生成一个窄依赖的结果
Spark Executor端日志打印的方法
Sunny的专栏
10-19 2927
大数据平台采用yarn client模式提交spark 任务，并且多个离线Spark作业共用一个Driver，好处便在于——节省提交任务的时间。但同时也加大了运维工作的难度，因为任务日志打印到同一个文件中。为了区分开各个业务流程的日志，平台引入了log4j2 RoutingAppender，配置如下所示： 最近数据开发部门在使用大数据平台的二次开发算子时，反馈说平台提供的Logger对象打印不出日志，抱着好奇的心态，研究了一下平台使用的日志框架。其实平台提供的Logger对象打印在executor端打印
修改spark中显示日志等级
OWBY_Phantomhive的博客
02-23 5819
当我们运行spark-shell或者是开发spark项目时，运行结果总是会伴随很多的日志，影响我们对结果的查看 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 22/02/23 11:24:49 INFO SparkContext: Running Spark version 2.4.5 22/02/23 11:24:50 INFO SparkContext: Submitted applicat
SparkSQL日志分析用户行为日志
12-18
以慕课网日志分析为例 进入大数据 Spark SQL 的世界用户行为日志加浏览器用户行为日志
spark：指定日期输出相应日期的日志（入门级-简单实现）
qq_55906442的博客
07-24 264
指定日期为2015.05.20，输出这一天的日志。代码如下（日志文件自己找）
Spark 通过 spark-submit 设置日志级别
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
11-16 1万+
Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。1、如果在自己的测试集群上，直接修改$SPARK_HOME/conf下的log4j.properties即可2、如果在Eclipse里，将log4j.properties放在项目的src/main/resources即可3、如果在生产环境的集群，又不允许修改配置文件的话，用上面讲的spark-submit --conf 即可。...
Spark日志，及设置日志输出级别
爱是与世界平行
08-14 4405
import org.apache.log4j.{ Level, Logger } Logger.getLogger("org").setLevel(Level.WARN) Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.eclipse.jetty.server").setLeve...
spark程序设置日志输出级别
Deltao_Taic的博客
06-21 446
sc.setLogLevel("ERROR")
Spark SQL 日志处理实战，日志文件20000行
12-16
Spark SQL 日志处理实战，日志文件20000行；Spark SQL 日志处理实战，日志文件20000行；
运行Spark程序的方法
01-07
Spark shell: 提供了一个强大的交互式分析数据的工具，我们可通过Scala或Python语言来使用 pyspark 在启动时便会自动生成一个驱动器程序，所以只需要在Spark shell中输入项运行的操作就可以了 pyspark –master ...
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
介绍使Spark Streaming Logs自动发送到Kafka。
spark搜狗日志数据分析实战源码（搜索结果和点击排名都是第一）
04-01
spark搜狗日志数据饭呢西实战源码（搜索结果和点击排名都是第一）
Spark整合Mongodb的方法
12-16
Spark介绍 按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。 通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，...
基于ELKStack和SparkStreaming的日志处理平台设计
02-26
本文通过对ELKStack、Kafka、SparkStreaming整合方案的介绍描述了系统平台日志处理流程，希望对系统运维工程师、数据库工程师在实现数据平台集中式运维工作中有所帮助，读者还可以参考文章末尾给出的互联网公司在...
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
04-01
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： ...
java基于spark streaming和kafka，hbase的日志统计分析系统.rar
10-19
本使用kafka，spark，hbase开发日志分析系统
spark 调优：控制输出文件的个数
03-16
Spark调优中，控制输出文件的个数是一个重要的优化点。过多的输出文件会导致文件系统的负担增加，影响性能。以下是一些控制输出文件个数的方法： 1. 使用coalesce()或repartition()方法将RDD的分区数调整为较小的值，这样输出文件的个数也会减少。 2. 使用saveAsTextFile()方法时，可以设置参数“minPartitions”，控制输出文件的最小分区数。 3. 使用Hadoop的输出格式（如TextOutputFormat、SequenceFileOutputFormat等），可以通过设置参数“mapreduce.output.fileoutputformat.compress”为true，启用压缩输出，减少输出文件的个数。 4. 使用Hive的输出格式（如HiveOutputFormat），可以通过设置参数“hive.exec.reducers.bytes.per.reducer”和“hive.exec.reducers.max”来控制输出文件的个数。 总之，控制输出文件的个数需要根据具体情况进行调整，避免过多的输出文件对性能造成影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

郝少

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值