用Spark 2跑SparkPi的问题

最新推荐文章于 2021-11-07 14:28:45 发布
最新推荐文章于 2021-11-07 14:28:45 发布
阅读量480 收藏
点赞数
分类专栏： 大数据


出现Application failed 2 times due to AM Container

在yarn-site.xml中添加下面的

<property>
  <name>yarn.application.classpath</name>
  <value>$HADOOP_CLIENT_CONF_DIR,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
</property>
即可。
还一种方法没试过：
在mapred-site.xml中添加
mapreduce.application.classpath
$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*, $HADOOP_COMMON_HOME/lib/*, $HADOOP_HDFS_HOME/*, $HADOOP_HDFS_HOME/lib/*, $HADOOP_MAPRED_HOME/*, $HADOOP_MAPRED_HOME/lib/*, $HADOOP_YARN_HOME/*, $HADOOP_YARN_HOME/lib/*
rc_ll
关注
专栏目录
SparkPi例子运行出错解决方法
coco_ethan的专栏
12-19 3963
按照《Spark实战高手之路-第1章》的前四节，搭建完Spark集群及IDEA集成环境后，最后一步是用IDEA集成环境运行SparkPi例子。可就在这最后一步，让我花了三天时间才最终完成。所以，这里详细介绍解决方法，让接下来以《 Spark实战高手之路》入门的后来者少走些弯路。 1.在《Spark实战高手之路-第1章（4）》的最后，说要以本地模式过行，则在 Edit Configurations
IntelliJ IDEA 首次运行SparkPi遇到问题
weixin_33753003的博客
12-23 117
为什么80%的码农都做不了架构师？>>> ...
Spark自带Pi程序运行
weixin_33912445的博客
12-21 572
文件名 文件路径 spark-example-2.11-2.00.jar spark/examples/jars/ 运行结果 转载于:https://www.cnblogs.com/kingshine007/p/8082664.html...
spark(三)------spark pi任务提交
weixin_52188717的博客
11-07 2914
1.输出1到100的数字中x,y轴的和在单位圆中的点，并统计个数 object sparkPi { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf() conf.setAppName("sparkPi") conf.setMaster("local") val context: SparkContext = new SparkContext(conf) val
Spark入门（1）-安装并本地模式运行官方事例 计算PI
梦里蓝天
09-01 1868
下载spark包 https://archive.apache.org/dist/spark/ 解压安装包 我是用的是深度的Linux系统，解压，复制，粘贴和window一样，双击+右键就可以，把上面的压缩包解压后复制到任意文件夹。 运行官方事例，计算PI的值 首先进入spark的解压缩包内，右键选择 在终端打开，或者使用CD命令进入。输入下列命令，最后回车 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master loc
【Spark+NLP】5、使用spark-submit跑spark样例sparkpi.scala
PrincessLin的专栏
08-02 541
[学习笔记，欢迎指正] 1、我启动了hadoop，这么小的程序不需要启动。 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 cmd命令： cd D:\hadoop-2.8.3\sb...
spark 运行自带样例SparkPi、spark-examples报错
楠楠好难
04-15 1万+
错误： scala> ./spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.10.1.jar 10 scala> spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_
spark集群中运行SparkPi的示例
sxyqhyt的博客
12-31 803
    1、SparkPi.scala源码（官网例子）       import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf...
MaxCompute Spark 使用和常见问题
阿里云技术
01-12 2272
一. MaxCompute Spark 介绍 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业，以满足更丰富的数据处理分析场景。 1.1 关键特性 支持原生多版本Spark作业 社区原生Spark运行在MaxCompute里，完全兼容Spark的API，支持多个Spark版本同时运行 统一的计算资源 像MaxCompute SQL/MR等
搞懂spark-submit参数及应用程序提交（详细）
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
spark &pi;计算的java实现
05-18
spark 是基于内存的计算框架，在集群中即使计算10000次pi也很快，这是他的java实现，希望对大家有所帮助
Spark设计实现π的计算
赵广陆
11-04 1918
目录1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-client或Yarn-cluster模式提交 1 分布式估算圆周率 计算原理 假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。 可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷
spark pi 详解
Talk Is Cheap
01-20 3734
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache
Spark 计算PI
叶小刀
07-25 2031
Spark-Hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80758713 （1）计算圆周率pi：在spark安装目录下运行：run-example SparkPi 10 &gt; SparkPi.txt          在文件里可以看到：Pi is roughly 3.13981513981514...
运行spark示例Pi可能出现的问题及解决
岸芷汀兰
08-04 4409
今天看了部分Spark的官方文档，spark实战高手之路（4）在IntelliJ中，我尝试运行了SparkPi，整个过程遇到一些问题   首先是当我把相关的包导入好后，Run，报错： Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configurat
Spark2.1.1中用各种模式运行计算圆周率的官方Demo
热门推荐
pucao_cug的专栏
05-17 1万+
Spark2.1.1中用各种模式运行计算圆周率的Demo 版本号：CentOS7 Hadoop2.8.0 Spark2.1.1
Spark实现PI圆周率计算
qq_42155078的博客
05-11 1062
1.采用蒙特卡洛概率的方法计算Pi圆周率 以中心点为圆心，圆的半径为1，圆的面积之比与正方形的面积之比为：π/4那么我们可以通过落入圆形中的点数占的比例来估计π的值 利用Spark进行代码实现： object Demo13_Pi { def main(args: Array[String]): Unit = { val list: Seq[Int] = 0 to 1000000 //创建spark 环境 val conf: SparkConf = new Spark
spark中配置sparkpi的文件
最新发布
05-26
在Spark中，可以使用Pi示例应用程序来计算&pi;的近似值。为了运行该应用程序，需要在Spark中配置sparkpi的文件，主要包括以下三个部分： 1. 编写SparkPi.scala文件：这是一个Scala应用程序，使用Spark API计算&pi;的近似值。该文件可以通过使用以下命令进行编写： ``` $ vim SparkPi.scala ``` 2. 编写build.sbt文件：这是一个SBT构建文件，用于构建Spark应用程序。该文件可以通过使用以下命令进行编写： ``` $ vim build.sbt ``` 3. 编写spark-submit命令：这是一个运行Spark应用程序的命令，包括参数和应用程序路径。该命令可以使用以下格式进行编写： ``` $ spark-submit \ --class com.example.SparkPi \ --master yarn \ --deploy-mode client \ --executor-memory 2g \ --num-executors 10 \ /path/to/application.jar \ 100 ``` 以上是Spark中配置sparkpi的文件的基本步骤，具体实现需要根据自己的环境和需求进行调整。如果您需要更详细的介绍，请告诉我您需要了解的具体内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值