Spark-shell中停止打印INFO日志

最新推荐文章于 2023-05-08 10:47:05 发布
最新推荐文章于 2023-05-08 10:47:05 发布
阅读量504 收藏
点赞数
分类专栏： 工具类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l491899327/article/details/108588282
版权

Spark-shell中停止打印INFO日志

spark设置info不显示

spark-shell在运行时常常输出一堆红色文字日志，影响代码体验，那么如何设置使得info不输出呢？
可在代码中如下设置(亲测有效)：
在这里插入图片描述

AI-learner6868
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何在Spark-shell中停止打印INFO日志
Lestat.Z.的博客
04-02 2920
文章目录前言解决方法- 使用自定义的Log4j.properties- 在代码中控制 前言 在使用Spark-shell做一些测试时候会产生大量无用的INFO级别的日志，因此想把它们给禁用掉。具体方法如下。 解决方法 - 使用自定义的Log4j.properties log4j.rootLogger=ERROR, console # set the log level for these com...
Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
qq_44884269的博客
04-18 1038
Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
Spark控制台不打印INFO，只输出结果
weixin_44328257的博客
07-18 2700
我们知道这是日志信息，既然是日志很多人立马就会想到log4j.properties配置文件，肯定不陌生，因此我们可以在项目的src/main/resources目录下新建这一个log4j.properties文件，然后复制如下的配置代码，然后重新运行，日志信息便不出来了。把=号后面的INFO删除，就可以了。当你想要看到日志信息的时候，再把INFO加上，就恢复了日志的打印。有的人就很不喜欢，就想仅仅看到一个输出的结果，怎末做呢？......
spark不输出info
码基的博客
11-28 613
–conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/tmp/test/log4j.properties”
[转]Spark如何设置不打印INFO日志
Buevara的博客
07-23 6339
方法1：在配置文件中修改 cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties ## 如果没有，则 cp log4j.properties.template log4j.properties vi log4j.properties ##然后，修改下面的这一个行： log4j.rootCategory=INFO, console ##改成： log4j.rootCategory=WARN, console 或者(按个人需求) log4j.rootCateg
大数据技术之(一) Spark-Core
痞子磊的博客
07-07 1112
第1章 Spark 概述 1.Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2.Spark and Hadoop 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到Spark 和Hadoop 的关系。 首先从时间节点上来看: Hadoop 2006 年 1 月，Doug Cutting 加入Yahoo，领导Hadoop 的开发 2008 年 ..
2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群
tingbaobaoo的博客
02-09 2633
01_Spark 快速入门【Anaconda 软件安装】[掌握] 使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda 是跨平台的，有 Windows、MacOS、Linux 版本。 # 下载地址： https://repo.anaconda.com/archive/ # 清华大学开源软件镜像站： https:
解决spark-shell输出日志信息过多
热门推荐
D
05-04 1万+
当我们执行spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息。 解决方案1进入到spark目录/conf文件夹下，此时有一个log4j.properties.template文件，我们执行如下命令将其拷贝一份为log4j.properties，并对log4j.properti
去掉spark中打印的INFO信息
amazing_Code的博客
04-08 1485
将spark安装包中一个文件复制到项目的main/resources目录下 ，将名称改为log4j.properties 如下所示： 打开该文件，将第一行中的INFO改为ERROR 以后运行spark程序将不会有info信息打印了 ...
基于sparksql调用shell脚本执行SQL
mllhxn的专栏
05-30 8196
基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项 1、定时调用脚本#!/bin/sh # upload logs to hdfs yesterday=`date --date='1 days ago' +%Y%m%d` /opt/modules/spark/bin/spark-sql -i /opt/bin/spark
去除在终端中运行spark打印的INFO信息
m0_70673163的博客
05-08 1371
本人的spark版本是spark-3.3.1-bin-hadoop3的，不同版本的文件名称跟文件内容可能不一样，需要随机应变。
linux如何停止死循环脚本,linux,shell后台启动一个死循环程序不停输出信息，当关闭shell后重新打开为嘛没输出了...
weixin_39799646的博客
05-02 506
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4077907&ordertype=1http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4077907&ordertype=1http://bbs.chinaunix.net/forum.php?mod...
Spark SparkSession报错报红
weixin_43820544的博客
10-08 2584
解决创建SparkSession报错方案
[Spark]如何设置使得spark程序不输出 INFO级别的内容
weixin_33901641的博客
10-29 801
  Spark程序在运行的时候，总是输出很多INFO级别内容 查看了网上的一些文章，进行了试验。 发现在 /etc/spark/conf 目录下，有一个 log4j.properties.template $cp log4j.properties.template log4j.properties 然后，修改下面的这一个行：log4j.rootCategory=INFO, console...
shell脚本打日志技巧
赶路人儿
04-13 1万+
执行shell脚本时，常常会打印一些日志到控制台，根据输出的日志，来判断脚本功能正确与否。但是，太多日志打印的话，会让阅读变得很困难，从日志信息里面找到我们关心的那部分也变得很不方便了。所以，有一个好用的shell脚本日志接口是非常有必要的，本文将聊聊实践中日志打印的一些技巧。 1、封装一个日志函数 最简单的方式，是在shell脚本中通过echo来打印，缺点是要改动时需要每处都修改，所以我们可以封装一个函数： #!/bin/bash function log() { echo "$@" }
使用idea调试spark信息时，设置不打印INFO信息
sxj的专栏
05-07 3390
1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示： 2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示...
解决spark运行时控制台打印冗杂的INFO（屏蔽掉无用的INFO）
qq_40068214的博客
06-13 4171
今天在spark和hive整合完后启动SparkSql的时候控制台打印出了好多冗余的信息看起来特别不爽 就一个 show databases； 却打印出来这么多信息，让我着实不大容易找到我想要的信息呀 解决方案：1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties 修改成功后打印 show...
spark-shell 怎么能显示中文
最新发布
06-11
要在 `spark-shell` 中显示中文，您可以执行以下步骤： 1. 在启动 `spark-shell` 时，添加以下参数： ``` spark-shell --driver-java-options "-Dfile.encoding=UTF-8" --conf "spark.executor.extraJavaOptions...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值