如何在IDEA中执行Spark时不打印日志

在项目的resources目录中创建log4j.properties文件,并添加如下信息

log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd 
HH:mm:ss} %p %c{1}: %m%n
# Set the default spark-shell log level to ERROR. When running the spark-shell, 
the
# log level for this class is used to overwrite the root logger's log level, so 
that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=ERROR
# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR
# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent 
UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
IDEA配置Spark环境可以按照以下步骤进行操作: 1. 首先,确保你已经安装了Scala插件包,并且创建了一个新的Maven工程。你可以选择使用org.scala-tools.archetypes:scala-archetype-simple作为Maven工程的模板\[3\]。 2. 在Project Structure检查Global Libraries,确保scala工具包的版本是scala-sdk-2.11.12。如果不是正确的版本,需要移除错误的版本\[3\]。 3. 修改pom.xml文件,将scala.version设置为2.11.12,并添加Spark的依赖。你可以在Maven仓库搜索Spark Project Core和Spark Project SQL的依赖,并选择适合你的Spark版本(比如2.4.5)和Scala版本(比如2.11)\[3\]。 4. 在新建的Maven工程,创建一个scala文件,例如DemoSpark.scala。在该文件,你可以编写一个简单的Spark操作命令,如下所示: ```scala import org.apache.spark.{SparkConf, SparkContext} object DemoSpark { def main(args: Array\[String\]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local\[2\]").setAppName("hellospark") val sc: SparkContext = SparkContext.getOrCreate(conf) println(sc) } } ``` 这个示例代码创建了一个SparkConf对象,设置了本地运行模式和应用程序名称,然后通过SparkContext来获取Spark的上下文对象\[2\]。 通过按照以上步骤配置好环境,你就可以在IDEA运行Spark程序了。希望这些步骤对你有帮助! #### 引用[.reference_title] - *1* [在IDEA里运行spark](https://blog.csdn.net/l_dsj/article/details/109468288)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [[Spark] 手把手教你在IDEA搭建Spark环境](https://blog.csdn.net/brave_zhao/article/details/105714286)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术.人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值