spark-sql 手动动态指定控制台输出日志级别

最新推荐文章于 2025-01-10 15:20:02 发布
原创 最新推荐文章于 2025-01-10 15:20:02 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在Spark SQL中配置日志级别，通过修改log4j.properties文件并指定路径，确保Spark SQL运行时仅输出警告及以上的日志信息，有效控制日志输出，提升系统运行效率。

 

  1. 登录服务器客户端
  2. 把spark/conf/log4j.properties.template 复制到A用户根目录 (改名为log4j.properties)，修改其中的一行为log4j.rootCategory=WARN, console
  3. 启动spark-sql

         spark-sql --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:///home/xxx/log4j.properties"
         注意：file:///  必须有 

 

Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
howard2005的专栏
05-15 1306
1. 学会使用默认数据源； 2. 学会手动指定数据源； 3. 理解数据写入模式； 4. 掌握分区自动推断
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
调整spark-sql控制台日志输出级别
jiezou12138的博客
03-28 5333
问题： 每次spark-sql操作都会打印大量的INFO信息，这样我们查看结果就会很麻烦， 解决： 调整Spark日志级别的配置文件是在$SPARK_HOME/conf/目录下的log4j.properties.template，默认级别是INFO 将log4j.properties.template复制一份 cp log4j.properties.template log4j.pro...
spark-sql 控制台修改日志级别
qingumeng4466的博客
01-22 5121
spark-sql 控制台修改日志级别这个我找了好久的解决方法 修改文件 conf/log4j.properties # Set everything to be logged to the console log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender
spark-sql手动动态指定控制台输出日志级别
那又怎样？的博客
08-08 3093
转载来自：https://blog.csdn.net/xueba207/article/details/50436684/ 搜了很多，还是这个靠谱，记录下 （1）首先配置好spark，hadoop，hive的权限，然后来到A用户，配置好环境变量 （2）把spark/conf/log4j.properties.template 复制到A用户家目录（改名为log4j.properties），修改...
Spark调整日志输出等级
chandelierds的博客
04-10 1262
现象 在跑Spark程序时，会输出很多INFO信息，看着很杂乱，可以通过调整输出日志等级避免输出INFO信息 具体步骤： 1）到Spark根目录的conf文件夹下，找到log4j.properties.template文件； 2）复制上述文件，并改文件格式为log4j.properties； 3）打开新文件，将log4j.rootCategory=INFO, console中的INFO改为WARN或者ERROR，保存退出； 4）将文件log4j.properties复制到IDEA项目src/main/
spark设置日志级别的4种方式
炼数成器
10-31 6390
建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive作为数据仓库，存储标签和用户特征库等相关数据。 “数据仓库之父” W.H.Inmon 在《Building the Data Warehouse》一书中定义数据仓库是“一个面向主题的、集成的、非易失的、随时间变化的、用来支持管理人员决策的数据集合”。 面向主题：业务数据库中的数据主要针对事务处理...
【spark学习日志】控制台仅输出Error而不输出Info日志
PPp_JH的博客
01-10 323
控制台仅输出Error而不输出Info日志
基于SparkSql的日志分析实战
XiaodunLP的博客
02-21 1208
目录 日志数据内容 用户行为日志分析的意义 离线数据处理流程 需求分析 数据清洗 解析访问日志 使用github上的开源项目 对日志进行统计分析  统计最受欢迎的TOPN的视频访问次数 按照地市统计imooc主站最受欢迎的TOPN课程 按流量统计imooc主站最受欢迎的TOPN课程 调优点 EChart展示图形化界面 静态数据展示 动态数据展示 日志数据...
Spark【使用篇】06：Spark SQL
weixin_40612128的博客
03-09 2661
DataFrame常见算子操作、DataFrame的sql操作、RDD转换为DataFrame、load和save操作、SaveMode、内置函数
Spark SQL 日志处理实战，日志文件20000行
12-16
Spark SQL 日志处理实战，日志文件20000行；Spark SQL 日志处理实战，日志文件20000行；
如何查看Spark日志与排查报错问题
qq_36470898的博客
06-29 4812
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的**println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里
log4j2示例：将sql相关日志记录到指定文件
添仔哥哥
03-31 2216
log4j2.xml配置文件 <?xml version="1.0" encoding="UTF-8"?> <!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL --> <!--Configuration后面的status，这个用于设...
spark-sql 集合hive查询数据执行日志
知识的力量
11-06 4209
[root@hadoop1 spark]# spark-sql --master spark://hadoop1:7077,hadoop2:7077 --executor-memory 1g --total-executor-cores 2 --driver-class-path /usr/local/hive/lib/mysql-connector-java-5.1.35-bin.jar  l
Spark问题汇总
u014622092的博客
03-29 650
idea执行spark程序异常 spark程序打包不成功
【spark】控制日志输出的方法
hyj
09-07 7975
【spark】控制日志输出的方法
修改spark中显示日志等级
OWBY_Phantomhive的博客
02-23 6771
当我们运行spark-shell或者是开发spark项目时，运行结果总是会伴随很多的日志，影响我们对结果的查看 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 22/02/23 11:24:49 INFO SparkContext: Running Spark version 2.4.5 22/02/23 11:24:50 INFO SparkContext: Submitted applicat
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
跑spark任务报错-refresh odps object
最新发布
08-30
- 引用[1]：暗示在ODPS-Spark中，UI可能不显示所有错误，需要使用控制台日志或其他方法排查。 - 引用[2]和[3]：涉及表创建语法，可能与错误相关如果错误涉及表元数据刷新。 可能的错误原因："refresh odps ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值