spark2.1.1yarn模式下，运行自带example的异常

最新推荐文章于 2024-05-10 20:27:44 发布
最新推荐文章于 2024-05-10 20:27:44 发布
阅读量1.3k 收藏
点赞数
文章标签： spark2.1.1yarn模式运行出问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_40889431/article/details/80201413
版权

运行spark自带的计算圆周率example

spark-submit  --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.1.1.jar

错误日志如下


spark-env.sh 设置如下


hadoo   yarn-site.xml配置信息如下


有人搭建环境碰到过这个问题吗  T T    咋解决啊  我试了各种方法  是配置文件有问题吗

Meteora_wyz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
idea里运行Spark1.6 Example
Talk Is Cheap
03-03 1788
http://blog.csdn.net/guotong1988/article/details/50549329 首先参考这个编译源码并导入idea然后在run configuration里取消run之前的make然后跑一个SparkPi.scala，会报一些ClassNotFound的错，这时在Examples文件夹右键–> open module settings –> 把相应的Depend
关于spark作业提交：spark运行example为例
赣江
09-18 1万+
示例：yarn-cluster提交： spark-submit --master yarn --deploy-mode cluster --executor-memory 2G --executor-cores 2 --queue root.helowin --class org.apache.spark.examples.SparkPi spark-examples-1.6.3-hadoop2...
使用 spark-submit 提交官方examples中的示例代码计算圆周率PI
最新发布
m0_61315707的博客
05-10 443
是大数据平台课的实习练习题目之一。
spark学习1之examples运行
Keep Learning
09-18 6609
spark的examples运行： spark1.4.1 1. spark-submit： hadoop@Master:~/cloud/spark-1.4.1$ spark-submit --master local examples/src/main/python/pi.py 10 Pi is roughly 3.142524
spark下载安装，运行examples(spark一)
dingxiaohuang4790的博客
09-17 1572
1.官方网址 http://spark.apache.org/ image.png 2.点击下载 下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2后面试一下不知道兼容不具体地址：http://spark.apache.org/downloads.html image.png ...
shell-spark-example:创建示例 spark 命令的应用程序，这些命令在 spark 集群上的节点之一的 shell 上运行。 教育的
07-02
创建此应用程序是为了学习 spark 和使用 github/开源项目 使用 Spark API 编写 Spark 应用程序并在集群上执行 在外壳上执行其他语言开发的 Spark 程序，如 PySpark 在命令行上执行 SparkQL 查询
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
spark-2.1.1.zip
05-02
在深入探讨 Spark 2.1.1 的特点之前，先了解一下 Spark 的基本架构和核心组件。 Spark 架构基于弹性分布式数据集（Resilient Distributed Datasets，简称 RDD），这是一种可容错的数据集合，可以在集群中并行操作。...
spark2.1.1的源码包
06-17
Spark 2.1.1 源码包是大数据处理框架Spark的核心代码库，它包含了Spark的所有组件和模块，如Spark Core、Spark SQL、Spark Streaming、Spark MLlib以及Spark GraphX等。对于开发者和研究者而言，深入理解Spark源码有...
spark-2.1.1-bin-hadoop2.7
09-11
- **资源管理**：Spark 2.1.1可以与YARN（Hadoop的资源管理系统）协同工作，有效管理和分配集群资源，实现跨节点的分布式计算。 - **MapReduce兼容**：Spark可以处理由Hadoop MapReduce产生的数据，进一步扩大了其...
spark-2.1.1.tgz
04-28
Spark是Apache软件基金会下的一个开源大数据处理框架，以其高效、灵活和易用性著称。Spark 2.1.1是Spark的一个重要版本，它在2.0版本的基础上进行了优化和增强，提供了许多新的特性和改进。这个tgz文件"spark-2.1.1....
如何在Spark源码中运行SparkExamples的例子程序
qq_35828475的博客
04-29 960
如何在Spark源码中运行SparkExamples的例子程序 首先从github中将Spark的源码下载下来。 然后，对源码进行build mvn -DskipTests clean package build过程中会不断的下载必须的jar包，如果不能正确上网的话，会遇到各种的问题。 build完成后，运行例子程序时，出现无法找到spark-version-info.pr...
各模式下运行spark自带实例SparkPi
热门推荐
Yt_Sports的博客
12-29 2万+
此系统是ubuntu，spark版本是1.0.0（下载的不是源码，而是编译好的，在我的其他文章里有下载网盘地址），hadoop版本2.2.0，scala版本2.10.4 1.spark-sunbmit命令：spark1.0之前的版本运行自带例子使用$SPARK_HOME/bin/run-example命令，对于spark1.0以后做出了改进，使用$SPARK_HOME/bin/spark
spark运行example时遇到的问题
B11050101的博客
10-22 1110
运行spark自带的demo： 1、提交到client bin/spark-submit --master spark://ip:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.0-hadoop2.6.0.jar spark报错如下： Exception ...
提交案例到YARN上运行
孤独的博客
08-18 394
其实在hadoop里面有丰富的测试案例可以提供给我们测试。 在hadoop的share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar 里面 之后开始测试 Hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 产看YARN界面，观看APP...
从零开始学习Spark--第3章 spark的example
chutian8427的博客
01-17 254
1.1 命令行： #spark安装在/home/brian/setup/spark-new/spark-0.8.0目录 cd /home/brian/setup/spark-new/spark-0.8.0 #在本地运行计算Pi值的Spark程序，4个工作线...
Spark自带example
u012667450的博客
04-28 3369
Spark自带examples案例 1.SparkPi 在SPARK_HOME目录下运行如下命令： bin/run-example org.apache.spark.examples.SparkPi 结果如下图所示： 到此，案例成功运行，运行结果为：Pi is roughly 3.1402157010785055 2.others 其他案例也是类似，注意两个问题： 必须是run-example命令。 确定类名。 类名可以在SPARK_HOME目录下的examples/src/main/scala/
spark yarn 提交_Spark部署实操手册
weixin_28991555的博客
01-08 273
1. Standalone模式1.1 概述使用Standalone需要构建一个完整的Master+Slaves的Spark集群，分布式部署，资源管理和任务监控都是依赖Spark自带架构实现。1.2 安装使用1）进入spark安装目录下的conf文件夹[centos@hadoop102 module]$ cd spark/conf/2）修改配置文件名称[centos@hadoop102 conf]$...
spark2.1.1对应的org.apache.spark
03-26
您可以在以下地址中找到Spark 2.1.1的官方文档： https://spark.apache.org/docs/2.1.1/ 该文档包含各种Spark功能的详细说明、API参考、示例代码等等。如果您需要了解Spark的更多信息或解决问题，这是一个很好的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值