[Spark--编码]--如何设置日志的打印级别

最新推荐文章于 2024-07-23 11:10:52 发布

往事随风ing

最新推荐文章于 2024-07-23 11:10:52 发布

阅读量1.5w

点赞数 1

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/high2011/article/details/52660118

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了三种设置Spark日志打印级别的方法：通过配置文件调整、代码内直接设置以及结合配置文件和代码的代理设置。实践中，推荐采用第三种方式以确保日志级别设置的可靠性。

摘要由CSDN通过智能技术生成

以下三种方式可以选择有一种，但就经测试，最靠谱的方式是第三种结合第一种使用。

1、通过配置文件

#log4j.rootLogger=WARN,console
log4j.rootLogger=DEBUG, stdout
# console
log4j.appender.console=org.apache.log4j.ConsoleAppender

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

往事随风ing

关注关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
5
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

[Spark版本更新]--Spark-2.4.0 发布说明

欢迎来到我的博客，一起探索代码里的世界！

11-09

6539

2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考： Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...

spark 日志级别设置为ERROR

干货

04-19

9993

想只显示ERROR日志。方式1 代码里设置 val sc = new SparkContext(conf) sc.setLogLevel("ERROR") 这个启动时，仍然会有月一些其他日志. 方式2 log4j.properties文件设置 1.新建一个resource目录，在文件夹上右击，mark as reources root。 2.新建一个log4j.properties...

5 条评论您还未登录，请先登录后发表或查看评论

Spark的日志配置

weixin_34187862的博客

03-10

在測试spark计算时。将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的。由于作业是提交到yarn的集群上，so 去yarn集群上看日志是非常麻烦的，但有特别想看下print的信息，方便调试或者别的目的在Spark的conf文件夹下，把log4j.properties.template改动为log4j...

Spark2 数据处理和实时分析（四）

热门推荐

欢迎来到我的博客，一起探索代码里的世界！

03-03

1万+

自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...

Spark utils —— 设置日志级别

01-22

2061

1. 通过 SparkContext 指定日志级别 val sc: SparkContext = new SparkContext(sparkConf) sc.setLogLevel("WARN") //sc.setLogLevel("DEBUG") //sc.setLogLevel("ERROR") //sc.setLogLevel("INFO")

spark java 日志打印,Spark local模式自定义日志输出

weixin_42134168的博客

03-11

1325

Spark每个任务输出一次日志文件版本信息:spark-2.4.3hadoop-2.6.4前些天在解决spark local模式的日志输出问题，需要每次执行一次spark作业就把该次作业的日志输出到一个日志文件中，这里记录下，分享下实现过程以及踩的坑;先自定义一个FileAppender,如下:package com.demo.util;import org.apache.log4j.FileAp...

参考 Apache Spark 的源码自定义实现 Logging 日志打印工具

Shockang的博客

11-21

3926

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文下面的日志打印工具可以无脑应用于任何的 scala 工程中。 package com.shockang.study.spark.internal import org.apache.log4j._ import org.slf4j.{Logger, LoggerFactory} import org

Spark 处理log日志

giantleech的博客

05-18

2092

文章目录Spark 处理log日志(数据清洗)源数据准备数据清洗要求准备环境开始清洗实现需求 Spark 处理log日志(数据清洗) 源数据准备准备一个 .log 格式的文件，内容如下所示数据清洗要求准备环境读取文件后，按照格式一层层切分数据，并将最终的结果保存到 Mysql 数据库中，代码如下所示先设置参数类，避免多次调用的代码冗余 object JdbcUtils { val url="jdbc:mysql://192.168.146.222:3306/etldemo" val

设置Spark运行程序时不显示log信息

萤火之光，照亮前行

09-01

1956

在IDEA中设置不要显示spark的log信息需要导入的包： import org.apache.log4j.Logger import org.apache.log4j.Level 第一种方式：在main函数中设置 def main(args:Array[String]):Unit={ Logger.getLogger("org").setLevel(Level.OFF) System....

关于日志Log的级别问题

PXL_alex的博客

10-28

955

关于日志Log的级别问题@TOC 欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新...

spark 程序配置日志级别通过log4j

chixushuchu的博客

11-11

1252

spark 如何配置日志打印级别 Log4j.properties文件 1、spark自身的打印级别首先明白如何设置spark本身的日志级别 Edit yourconf/log4j.propertiesfile and change the following line: log4j.rootCategory=INFO, console to log4j.rootCateg...

掌握Spark-submit：部署与应用提交指南

包括设置作业的资源限制（如内存、CPU）、日志级别、监控选项等，这些配置可以帮助优化应用程序的性能和资源利用率。 5. **HDP和Sandbox环境**：如果在HDP（Hortonworks Data Platform）环境中使用，可能还需要...