Scala控制日志输出级别

最新推荐文章于 2024-08-07 10:00:21 发布
最新推荐文章于 2024-08-07 10:00:21 发布
阅读量653 收藏
点赞数 1
文章标签： scala log4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WBW_WBW/article/details/120130569
版权

Scala控制日志输出级别

在这里插入图片描述
main方法前加入语句

Logger.getLogger("org").setLevel(Level.ERROR)
WBW_WBW
关注
scala-logging：Scala包装SLF4J的便捷性能日志库
02-05
scala-logging：Scala包装SLF4J的便捷性能日志库
【scala】设置打印等级
alexliu2360的专栏
09-28 601
spark运行的时候会产生大量的消息，让程序的运行结果看起来比较费劲 所以可以再程序中添加一些代码，设置一下输出日志的级别 import org.apache.log4j.{Level, Logger} object Example { Logger.getLogger("org").setLevel(Level.ERROR) def main(args: Array[String]) { ...... } } 代码中Level那里的参数，可以设置为WARN，或者ERROR，这个
Log4j Scala API 使用教程
最新发布
gitblog_00057的博客
08-07 270
Log4j Scala API 使用教程 logging-log4j-scalaA Scala-friendly interface to log against the Log4j API项目地址:https://gitcode.com/gh_mirrors/lo/logging-log4j-scala 项目介绍 Log4j Scala API 是 Apache Log4j 2 的一个扩展项目...
Spark09: Spark之checkpoint
anglemanyi的博客
02-12 1225
checkpoint，是Spark提供的一个比较高级的功能。有时候，我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且，整个任务运行的时间也特别长，比如通常要运行1~2个小时。在这种情况下，就比较适合使用checkpoint功能了。因为对于特别复杂的Spark任务，有很高的风险会出现某个要反复使用的RDD因为节点的故障导致丢失，虽然之前持久化过，但是还是导致数据丢失了。
Scala中的多种print输出方式
weixin_43616627的博客
06-15 8194
相较于Java的输出方式，Scala显得更加灵活和多样，首先需要了解的是，在Scala中，print方式的调用主要是调用预定义对象Predef的print方法，这个对象不用import就可以直接使用。 以下是自己整理的几种常用的输出方式： （1）普通输出方式： object HelloWorld { def main(args: Array[String]): Unit = { var i:Int = 10 val j:Int = 20 println("Hello World"
【spark】控制日志输出的方法
hyj
09-07 7245
【spark】控制日志输出的方法
Scala日志打印
practice
11-28 6012
基于scala-logging和logback的日志打印模板，其中logback是一个更高效/更优于log4j的日志打印框架，目前正逐渐替代log4j的位置，以下为实现日志打印的几个步骤： 1. 添加依赖 以maven为例： <dependency> <groupId>com.typesafe.scala-logging</groupId> &lt...
日志：Scala的高级日志记录库
02-05
- **初始化**：在应用启动时，需要配置日志框架，设置日志级别、输出目的地（控制台、文件、数据库等）。 - **导入库**：在Scala代码中，引入`import com.typesafe.scalalogging._`，然后创建一个日志器实例，例如...
scala和spark的安装
01-03
3. **日志级别配置**：还可以通过修改`log4j.properties`文件来调整日志输出级别。例如，将`log4j.rootCategory=INFO,console`改为`log4j.rootCategory=DEBUG,console`来查看更详细的调试信息。 #### 六、总结 通过...
scalacheck：Scala的基于属性的测试
02-05
可以使用`Prop.trivial`或`Prop.prove`来记录测试的背景信息，而`Prop.forAll`的`log`参数可以开启详细的日志输出。 ### 7. 性能测试 除了常规的正确性测试，ScalaCheck还可以用于性能测试。`Prop.time`函数可以...
slogging：基于ScalaJVM，Scala.js和Scala Native宏的Typesafe-logging（和slf4j）兼容的日志记录库
02-05
`slogging`为ScalaJVM提供了丰富的日志级别，如`DEBUG`, `INFO`, `WARN`, `ERROR`等，并支持条件日志语句，使得在不同环境下可以方便地控制日志输出。 对于Scala.js，`slogging`同样实现了完整的API，使其能在...
对java、scala等运行于jvm的程序进行实时日志采集、索引和可视化
08-20
可以将dubbo服务的日志输出配置统一，然后通过上述的日志收集工具将不同服务的日志汇集到一起。同时，利用Elasticsearch和Kibana的索引和可视化功能，可以对整个系统进行全局监控，及时发现并解决问题。 总结来说，...
Artemis:Mod 跟踪什么白痴打印到标准输出而不是记录器
06-03
这个 Artemis 模块的目的是改进这种情况，确保所有日志输出都被导向到适当的日志记录器，以便进行集中管理和分析。它可能包括以下功能： 1. **捕获标准输出**：模块会监控程序中的 stdout 和 stderr，捕获原本会...
SparkStreaming流式日志过滤与分析
05-30
（2）对读入都日志信息流进行指定筛选出日志级别为error或warn的，并输出到外部MySQL中。 需要用到的函数 （1）输入采用textFileStream()算子 （2）输出采用foreachRDD()算子 （3）将RDD转为DataFrame （4）...
prox：一个用于处理系统进程的Scala库
02-05
在Scala编程中，有效地管理和控制操作系统级别的进程是许多复杂任务的关键部分，`prox` 库为此提供了简洁且强大的工具。本文将深入探讨 `prox` 库的核心特性、使用方法以及它如何简化系统进程操作。 ### 一、`prox`...
Akka Scala文档
06-01
- **日志输出**：控制日志输出的目的地。 - **日志格式**：定制日志记录的格式。 ##### 6.3 计划器 - **定时任务**：安排定期执行的任务。 - **延时任务**：延迟一定时间后执行任务。 - **周期性任务**：周期性执行...
eclipse运行spark的scala程序console配置日志log4j输出级别
viviliving的专栏
10-16 4802
默认输出info级别，结果都淹没在info海洋里 先看看自己的eclipse输出的第一行 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 然后再找找spark的import执行的jar包的spark-core所在位置（CTRL+T） 我的在 /home/hadoop/.m2/r...
SCALA 的日志管理
李兵的专栏
12-15 1万+
SCALA
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
改进代码：import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} object UpdateStateByKeyTest { //newValues表示当前批次汇总成的（K,V）中相同K的所有V //runningCount表示历史的所有相同key的value总和 def updateFunction(newValues: Seq[Int], runningCount: Option[Int]): Option[Int] = { val newCount = runningCount.getOrElse(0) + newValues.sum Some(newCount) } def main(args: Array[String]): Unit = { //1.创建SparkConf对象 val sparkConf: SparkConf = new SparkConf().setAppName("UpdateStateByKeyTest").setMaster("local[2]") //2.创建SparkContext对象 val sc: SparkContext = new SparkContext(sparkConf) //3.设置日志级别 sc.setLogLevel("WARN") //4.创建StreamingContext，两个参数：1.SparkContext对象 2.批处理时间间隔 val ssc: StreamingContext = new StreamingContext(sc, Seconds(5)) //5.配置检查点目录，使用updateStateByKey()方法必须配置检查点目录 ssc.checkpoint("./") //6.连接socket服务，需要socket的地址，端口号，存储级别 val dstream: ReceiverInputDStream[String] = ssc.socketTextStream("192.168.92.131", 9999) //7.按空格切分每一行，并且将切分出来的单词出现的次数记录为1 val wordAndOne: DStream[(String, Int)] = dstream.flatMap(_.split(" ")).map(word => (word, 1)) //8.调用UpdateStateByKey操作，统计每个单词在全局中出现的次数 val result: DStream[(String,Int)] = wordAndOne.updateStateByKey(updateFunction) //9.打印输出结果 result.print() //10.开启流式计算 ssc.start() //11.用于保持程序一直运行，除非人为干预停止 ssc.awaitTermination() } }
05-28
改进代码如下： ```scala import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.streaming.{Seconds, ...3. 调整了代码结构，将一些常规设置（如日志级别和检查点目录）放在主要逻辑之前。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值