PySpark shell 修改log4j.properties Spark日志调整

最新推荐文章于 2022-03-25 15:56:19 发布
最新推荐文章于 2022-03-25 15:56:19 发布
阅读量972 收藏 1
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43495813/article/details/90543946
版权

下图是 是PySpark shell 启动时的样子。
在这里插入图片描述
如果觉得shell 中输出的日志信息过多而使人分心，可以调整日志的级别来控制输出的信
息量。
你需要在conf 目录下创建一个名为log4j.properties 的文件来管理日志设置。Spark
开发者们已经在Spark 中加入了一个日志设置文件的模版，叫作log4j.properties.template。
要让日志看起来不那么啰嗦，可以先把这个日志设置模版文件复制一份到conf/log4j.
properties 来作为日志设置文件，接下来找到下面这一行：
log4j.rootCategory=INFO, console
然后通过下面的设定降低日志级别，只显示警告及更严重的信息：
log4j.rootCategory=WARN, console
这时再打开shell，你就会看到输出大大减少
在这里插入图片描述
同样的 scala shell 也适用

一抹安然如故
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pyspark 数据类型转换_pyspark处理数据基本语法
weixin_39609770的博客
12-20 2244
作为一个和数据相关的专业，想学习pyspark,从而了解并学习pyspark ，以便更好的应用到工作中。1、连接数据库import findspark #初始化 findspark.init() import warnings warnings.filterwarnings('ignore') from pyspark.sql import SparkSession # 定义数据库的地址，以及表...
Spark 日志配置
半路出家，立地为猿
12-28 2205
在使用spark 环境开发时，有时为了方便，需要pyspark环境下执行一些代码，但默认的日志级别是INFO, 这样会输出超级多的日志，界面一几乎是一直在刷屏状态。 可以调一下日志的输出级别。 一、修改日志配置 在$SPARK_HOME/conf 下找到 log4j.properties.template，复制一份到新文件log4j.properties 可直接修改文件名称为log4j.pr
Pyspark 设置日志输出级别
wo_renshen的博客
12-11 2859
from pyspark.sql import SparkSession spark = SparkSession.builder.enableHiveSupport().appName("Correlation").getOrCreate() #日志输出级别 spark.sparkContext.setLogLevel("Error") #读取hive spark.sql(""" SELECT * FROM table""")
pyspark 提交任务参数
zhangxiaohui4445的博客
07-16 4417
spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器的代码。Spark运行一...
Spark Configuration
逆流的博客
10-19 1591
Spark Properties Spark properties能够控制大部分的程序设置，并且可以为每个程序分开配置。properties能够通过SparkConf直接设置然后传入到SparkContext。SparkConf允许用户配置一些公用属性（例如：master URL和程序名称），也允许使用set()方法，传入key-value键值对来设置。例如，我们初始化一个拥有两个线程的应用程序
Spark及pyspark的操作应用.pdf
12-09
可以通过重命名`log4j.properties.template`为`log4j.properties`并编辑其内容来定制日志级别。 六、PySpark编程基础 在PySpark程序中，首先需要创建`SparkConf`和`SparkContext`对象。例如： ```python from ...
搭建Spark+MongoDB的运行环境的操作手册.docx
11-13
- 修改`conf/log4j.properties.template`文件，将INFO级别改为WARN，以减少日志输出。 - 安装完成后，通过`spark-shell`命令进行测试。 3. **Hadoop安装与配置** - 下载Hadoop的相应版本，解压并配置环境变量，...
spark-training:Apache Spark培训说明
05-18
SPARK_LOCAL_IP=127.0.0.1 ./bin/spark-shell 要减少冗长的日志， $SPARK_HOME/conf/log4j.properties.template复制到$SPARK_HOME/conf/log4j.properties ，然后将INFO更改为WARN以用于根记录程序。 - log4j.root...
spark_demo_pagerank:演示
05-30
- `src/main/resources`: 可能包含配置文件，如`log4j.properties`日志配置。 - `src/main/scala`: 如果项目包含Scala代码，这部分就是存放的地方。 - `pom.xml`或`build.sbt`: Maven或SBT构建文件，定义项目依赖和...
1.基础概念1
08-03
此外，可以自定义日志级别，通过修改 `conf/log4j.properties` 文件。 5. **独立应用**：独立 Spark 应用与 `pyspark shell` 的主要区别在于需要手动初始化 SparkContext。在 Python 脚本中，通过 `SparkConf` 创建...
pyspark资源配置
Code_LT的博客
03-25 2647
想像scala一样，对spark使用资源做指定，如： spark-submit \ --principal $principal \ --keytab $keytab \ --name Test \ --master yarn --deploy-mode cluster \ --num-executors 10 \ --executor-cores 4 \ --executor-memory 16G \ --driver-memory 16G \ --conf spark.locality.wait=10
pyspark log4j
weixin_44772715的博客
06-06 704
https://stackoverflow.com/questions/25407550/how-do-i-log-from-my-python-spark-script log_util.py #!/usr/bin/python # coding=utf-8 import socket def main(): print("hello ....") tags = dict(...
完美解决Spark应用日志级别设置
热门推荐
if(true){ I love it }
06-01 4万+
最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时，控制台输出一大堆日志信息，严重影响查看日志效率。 从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件 由上图可知，Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信i息。 那针对以上问题，在开发过程中我
使用pyspark 分析日志
lepton126的专栏
01-22 2015
Apache Spark is the smartphone of BigData     后台是三节点spark集群，python的版本是3.5.4，spark版本是spark-2.3.0-bin-hadoop2.7，在windows10系统下运行 需要处理的数据部分内容如下所列，字段以TAB键分隔 121508281810000000      http://www.yhd.com/?uni...
spark修改日志级别
longwei92的博客
06-17 2915
通过SparkSession进行设置 val spark = SparkSession .builder() .appName("AWSMMonitorInfo") .enableHiveSupport() .config("hive.exec.dynamic.partition", true) // 支持 Hive 动态分区 .conf...
Spark任务中的log4j简单配置方法
LittleMagic's Blog
03-04 2876
Spark默认是集成log4j作为日志框架的，因此在我们的Spark作业中也使用log4j来输出日志。 不过，如果只是简单地将自定义的log4j.properties文件扔进项目的resources文件夹，然后直接打包运行的话，会发现程序根本不会鸟它，打印出来的日志与之前完全相同，也不会输出到文件。这时可以在spark-submit的driver JVM参数中，打开log4j的调试...
pyspark命令行打印日志问题
marho
09-22 7055
在使用spark-submit运行工程jar包时常常会出现一下两个问题： 1.在程序中手打的log（如print（“***testRdd.count=”+testRdd.count()）常常会因被下一个Job的执行日志覆盖掉而无法查看日志；，或执行日志过多，不好查看print的内容。 2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭，程序便终止运行。 其中，第一个问题可以通过将运行日志
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.用了PropertyConfigurator.configure("log4j.properties");这个方法仍然不能解决
最新发布
06-09
这个警告意味着log4j没有找到任何appender来输出日志信息。在使用log4j时，必须为每个logger指定一个或多个appender，以便它知道日志信息要输出到哪里。如果没有指定appender，log4j就无法输出日志信息，会出现上述...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值