完美解决编写IDEA在Local模式下maven Spark程序消除日志中INFO输出

最新推荐文章于 2024-05-18 10:29:05 发布
VIP文章 最新推荐文章于 2024-05-18 10:29:05 发布
阅读量1.1k 收藏 5
点赞数 1
分类专栏： Spark学习 文章标签： spark idea log4j Intellij
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43695091/article/details/97136557
版权

运行spark程序时，由于使用的时spark-core下的log4j-default.properties配置文件，log4j会将INFO级别的信息全部输出到控制台
在这里插入图片描述
要消除这些INFO信息，只需要找到log4j-default.properties文件，将其复制一份到项目的src目录下，将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的日志。并将文件更名为log4j.properties。

第一步：找到导入的依赖jar文件中的spark-core相关目录，以此展开其中的org/apache/spark
在这里插入图片描述
第二步：找到其中的log4j-default.properties文件

最低0.47元/天 解锁文章
ming_rw
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
上手提示：使用新版IDEA+Maven+Scala编写Spark程序
09-24
2017版IDEA相对以前版本在细节上有比较大的变化，经过一些尝试，我将使用过程中遇到的一些要点简要记录下来
清除在intellij IDEA中运行spark代码时显示大量的Info消息
weixin_39814358的博客
09-19 724
背景： 在intellij IDEA中运行spark程序时，会显示大量无用的INFO信息，以至于输出结果被淹没。 解决方法： 1. 将spark安装目录的conf文件夹中的 log4j.properties 文件，到项目的src文件夹中，再将log4j.properties 中的 log4j.rootCategory=INFO, console 改成 log4j.rootCate...
去除在终端中运行spark打印的INFO信息
m0_70673163的博客
05-08 1327
本人的spark版本是spark-3.3.1-bin-hadoop3的，不同版本的文件名称跟文件内容可能不一样，需要随机应变。
idea maven spark 设置不打印info信息--方法1：src-main-resources-log4j.properties 方法2：如下
qq_20936501的博客
08-31 783
方法一： 方法2：
spark log4j.properties
无声的博客
04-10 426
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m
maven 命令_第10期：maven命令行mvn日志输出格式详解
weixin_39997089的博客
11-22 1022
使用maven，总要执行mvn命令，而mvn总会输出一坨繁琐的日志；大部分情况下，只要知道SUCESS和FAILURE，不计较的话，也能应付工作。但每一行日志到底作用为何，糊里糊涂，总觉得不爽，趁假期结合maven源码琢磨了一番，总结整理如下。最简单的输出首先，从简单的开始，我们创建一个空的maven工程，直接执行mvn clean命令，为了避免第一次出现太多的downloading日志干扰，重复...
IDEA中Maven依赖下载失败的完美解决方案
08-19
使用IDEA进行Maven项目开发时，时不时会遇到pom.xml报错的情况，其中很大概率是因为Maven依赖的jar包下载失败，找来找去也没有找到是什么问题，困扰了很多程序猿，这里给出IDEA中Maven依赖下载失败解决方案，给大家...
Spark Local + Maven + IDEA项目
04-13
IDEA项目。 本地只需要下载最新的Hadoop包以及hadoop-common-2.2.0-bin-master. 就可以在windows下实现的本地spark测试。学习Spark语法。
如何在IDEA Maven项目中导入本地jar包的步骤
08-26
今天小编就为大家分享一篇关于IDEA Maven项目中导入本地jar包的步骤，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
Mac下安装配置Maven并在IDEA中配置的详细教程
08-18
主要介绍了Mac下安装配置Maven并在IDEA中配置,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
IDEA中运行Spark报日志和SLF4J问题
weixin_52254672的博客
11-23 387
1.在resources目录中添加log4j.properties文件，解决输出很多日志的问题2.在pom.xml中将存在slf4j冲突的包排除掉，解决输出slf4j问题3.在resources目录中添加log4j2.xml文件，解决输出error问题下面给出修改后的pom.xml文件。
【Spark】【设置】关闭INFO提示
萌狼蓝天の技术栈
10-29 1397
目的：关闭INFO提示 方法：通过修改配置文件实现 操作文件：Hadoop/conf/log4j.properties.template 操作1：复制模板文件使用 cp $SPARK_HOME/conf/log4j.properties.template $SPARK_HOME/conf/log4j.properties 操作2：修改配置文件 将配置文件中的 log4j.rootCategor...
运行IDEA的spark输出很多INFO信息解决方法
我歌月徘徊，我舞影零乱
03-24 2030
在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark 找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties 内部把 log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=ERROR, console...
计算机毕业设计Python+Spark知识图谱酒店推荐系统 酒店评论情感分析 酒店价格预测系统 酒店可视化 酒店爬虫 neo4j知识图谱 深度学习
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-15 1234
计算机毕业设计Python+Spark知识图谱酒店推荐系统 酒店评论情感分析 酒店价格预测系统 酒店可视化 酒店爬虫 neo4j知识图谱 深度学习
spark结课之tip2
m0_74811962的博客
05-14 944
spark常用方法总结： 一、从内部创建RDD (1).通过并行化集合（Parallelized Collections）： 可以使用SparkContext的parallelize方法将一个已有的集合转换为RDD。 基本语法： parallelize(collection, numSlices=None) 基础代码示例： import org.apache.spark.{SparkConf, SparkContext} val conf = new SparkConf().setA
离线仓库ODS-DWD-DWS-ADS
jshxk的博客
05-17 379
离线数仓分层设计
计算机毕业设计python+spark知识图谱房价预测系统 房源推荐系统 房源数据分析 房源可视化 房源大数据大屏 大数据毕业设计 机器学习
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-18 630
计算机毕业设计python+spark知识图谱房价预测系统 房源推荐系统 房源数据分析 房源可视化 房源大数据大屏 大数据毕业设计 机器学习
IntelliJ IDEA中有什么让你相见恨晚的好用插件?
jakpopc的博客
06-22 4874
我是Jackpop，我们交个朋友吧！IntelliJ IDEA在开发者中的受欢迎程度，想必不用多说。开箱即用、功能强大，备受欢迎。虽然IDEA已经提供了丰富的功能，但是，我们仍然可以通过配置插件来满足个性化的需求。JetBrains Marketplace 上有着大量实用插件，但是，并非每个都称得上优秀。今天，就给大家精选12款非常好用的IDEA插件。命名规范对于编程语言重要，而且不同编程语言有不同的命名规范要求。有的要求驼峰命名，有的要求下划线命名。通过CamelCase这款插件，我们可以在CamelCa
【设计模式】JAVA Design Patterns——Arrange/Act/Assert（安排/执行/断言模式）
最新发布
CSBIGDOG的博客
05-18 271
这种模式有几个明显的好处。它在测试的设置，操作和结果之间建立了清晰的分隔。当您编写测试时，它还会强制执行一定程度的纪律。您必须清楚地考虑您的测试将执行的三个步骤。根据安排/ 执行 / 断言模式编写单元测试（注意每个单元测试的步骤是分开的清晰的）。安排/执行/断言是一种测试模式，将测试分为三个清晰的步骤以方便维护。安排/执行/断言是用于在单元测试方法中排列和格式化代码的模式。你需要结构化你的单元测试代码这样它们可以更好的阅读，维护和增强。安排/执行/断言（AAA）是组织单元测试的一种模式。
idea里面servelt怎么运行
06-11
在 IDEA 中运行 Servlet，可以按照以下步骤进行： 1. 创建一个 Web 项目。 2. 在项目中创建 Servlet 类。 3. 在 Servlet 类中重写 doGet() 或 doPost() 方法。 4. 在 web.xml 文件中进行 Servlet 的配置。 5. 点击运行按钮，选择 Tomcat 或其他 Web 容器运行项目。 6. 在浏览器中输入对应的 Servlet 地址，即可访问。 需要注意的是，运行 Servlet 需要在 Web 容器中进行，因此需要配置好对应的 Web 容器。IDEA 自带了 Tomcat 插件，可以方便地进行配置和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值