【spark on k8s】部署问题

最新推荐文章于 2023-05-31 13:10:56 发布

玄月无疆

最新推荐文章于 2023-05-31 13:10:56 发布

阅读量710

点赞数

分类专栏： spark 文章标签： spark k8s

本文链接：https://blog.csdn.net/echo245/article/details/118755812

版权

在尝试使用官方示例部署Spark任务到Kubernetes集群时遇到错误。问题包括文件路径和jar名称不正确。解决方案是修正jar的路径到/opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar。

摘要由CSDN通过智能技术生成

部署spark任务在Kubernetes上报错

使用官方案例部署失败

`21/07/14 02:19:14 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/07/14 02:19:15 WARN DependencyUtils: Local jar /opt/spark/examples/jars/spark-examples_2.12-3.1.1.jar does not exist, skipping.

**Error: Failed to load class org.apache.spark.examples.SparkPi.**

21/07/14 02:19:15 INFO ShutdownHookManager: Shutdown hook called
21/07/14 02:19:15 INFO ShutdownHookManager: Deleting directory /tmp/spark-531eef47-e7c2-4632-9232-e45f68ac0396
`

在这里插入图片描述