spark 第一个程序， 求PI 值

最新推荐文章于 2023-03-29 10:38:31 发布
最新推荐文章于 2023-03-29 10:38:31 发布
阅读量343 收藏 3
点赞数 1
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/axel_fran/article/details/120023770
版权
这篇博客介绍了如何在CDH 6.2.1环境下通过编写Shell脚本来运行Spark示例程序SparkPi。首先，通过find命令定位到Spark的jar包，然后创建并编辑submit.sh脚本，使用spark-submit命令指定master为YARN，类名为SparkPi，并指定jar路径。最后，执行脚本./submit.sh即可启动计算。
摘要由CSDN通过智能技术生成

spark-Example-PI

1.找到class(一般在spark的安装包里)

find / -name spark

 

找到jar 包

2.编写sh执行脚本

脚本内submit的命令格式要求严格，

-换行需使用 “斜杠”， 斜杠后无空格

- jars 这一项为，手动添加的外部jars 包， 需只占用一行，多个jar包用逗号隔开

vim submit.sh (注意权限，需要是x, 可执行文件)

#!/bin/bash
CDH_BIN='/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin'
LIB_PATH='/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib'

$CDH_BIN/spark-submit \
--master yarn \
--class org.apache.spark.examples.SparkPi \
/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.1.jar

3.执行

./submit.sh

Axel_Fr
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
howard2005的专栏
03-20 1185
1. Spark开发环境准备工作； 2. 了解Spark的三种部署方式； 3. 搭建Spark单机版环境； 4. 搭建Spark Standalone集群； 5. 体验第一个Spark程序； 6. 在Spark Shell里基本操作； 7. 初识弹性分布式数据集RDD
Spark Core：第二章 执行spark程序
落落free的博客
05-02 644
Spark集群执行程序：计算圆周率 文章目录Spark集群执行程序：计算圆周率一、Standalone模式1. Standalone-client 模式提交任务2. Standalone-cluster 模式提交任务3. Standalone-client 模式与Standalone-cluster 模式的对比二、Yarn模式1. Yarn-client 模式提交任务2. Yarn-cluste...
【spark】spark计算Pi
开发随笔-猫咪酱
06-17 7031
cd $SPARK_HOME/bin ./spark-submit --master spark://node111:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.1.1.jar 100 命令格式：./$SPARK_HOME/bin/spark-submit
Spark 计算PI
叶小刀
07-25 2025
Spark-Hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80758713 （1）计算圆周率pi：在spark安装目录下运行：run-example SparkPi 10 > SparkPi.txt          在文件里可以看到：Pi is roughly 3.13981513981514...
Spark实现PI圆周率计算
qq_42155078的博客
05-11 1052
1.采用蒙特卡洛概率的方法计算Pi圆周率 以中心点为圆心，圆的半径为1，圆的面积之比与正方形的面积之比为：π/4那么我们可以通过落入圆形中的点数占的比例来估计π的值 利用Spark进行代码实现： object Demo13_Pi { def main(args: Array[String]): Unit = { val list: Seq[Int] = 0 to 1000000 //创建spark 环境 val conf: SparkConf = new Spark
第一个Spark实例：求PI值
松门一枝花
05-15 2940
向spark提交jar，需要使用 bin下的spark-submit [hadoop@nbdo1 bin]$ ./spark-submit --help Usage: spark-submit [options] [app arguments] Usage: spark-submit --kill [submission ID] --master [spark://...] Usage: sp
Spark计算Pi---Spark学习笔记2
OopsOutOfMemory盛利的博客
03-28 4190
话接上回Spark学习笔记1-编译源代码，已经成功编译了spark on yarn 启动yarn victor@victor-ubuntu:~/software/hadoop-2.2.0/sbin$ ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting n
Spark 测试程序计算圆周率
Running_Tiger的博客
03-06 2926
Spark 测试程序计算圆周率1. 普通模式提交任务该算法是利用蒙特·卡罗算法求圆周率PI，通过计算机模拟大量的随机数，最终会计算出比较精确的π。bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://node-1:7077 \ --executor-memory 1G \ --total-exe
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
Spark计算Pi运行过程详解---Spark学习笔记4
OopsOutOfMemory盛利的博客
03-31 1万+
上回运行了一个计算Pi的例子 那么Spark究竟是怎么执行的呢？ 我们来看一下脚本 #!/bin/sh export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubat
PySpark实战（四）——一个Spark程序（py编写，圆周率Pi的计算）
Stack It Up
03-21 637
Spark程序_圆周率PI的计算
Spark设计实现π的计算
赵广陆
11-04 1891
目录1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-client或Yarn-cluster模式提交 1 分布式估算圆周率 计算原理 假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。 可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷
Spark入门（1）-安装并本地模式运行官方事例 计算PI
梦里蓝天
09-01 1840
下载spark包 https://archive.apache.org/dist/spark/ 解压安装包 我是用的是深度的Linux系统，解压，复制，粘贴和window一样，双击+右键就可以，把上面的压缩包解压后复制到任意文件夹。 运行官方事例，计算PI的值 首先进入spark的解压缩包内，右键选择 在终端打开，或者使用CD命令进入。输入下列命令，最后回车 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master loc
Spark入门（九）之PI估值
茅坤宝骏氹的博客
07-08 531
一、Pi估值算法 通过在圆上“投掷飞镖”来估计π。我们在单位平方（（0，0）到（1，1））中随机选取点，看看有多少点落在单位圆内。分数应该是π/4，所以我们用这个来得到我们的估计值。 二、项目maven依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-.
spark第7天-linux
u014381464的博客
03-23 254
下载jdk进入jdk官方下载地址，下载java se 7，按照教材选择的比较简单的rpm出现插曲Sorry, you must accept the License Agreement before downloading，仔细看上方有需要勾选的accept the license默认下载到下载文件夹里，把它搬到了/opt/java文件夹中，注意sudo权限问题，以及可以直接sudo -s进入ro...
Spark 单机版环境版的简单操作
梁辰兴的博客
03-29 696
虽然你可以在任何时候定义新的RDD，但Spark 只会惰性计算这些RDD。比如，看看例2 和例3，我们以一个文本文件定义了数据，然后把其中包含spark的行筛选出来。相反， 一旦Spark 了解了完整的转化操作链之后，它就可以只计算求结果时真正需要的数据。事实上，在行动操作first() 中，Spark 只需要扫描文件直到找到第一个匹配的行为止，而不需要读取整个文件。另一方面，行动操作会对RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中。执行：pyspark。
大数据学习-Spark算子（三）之RDD的其他操作
WeixinX_的博客
09-10 253
Spark算子（三）之RDD的其他操作 大数据学习-Spark算子（一）之基本RDD操作 大数据学习-Spark算子（二）之Pair RDD操作 文章目录Spark算子（三）之RDD的其他操作5、RDD的其他操作1）`glom()`：2）`getNumPartitions()`：3）`coalesce(numPartitions,shuffle=False)`：4）`repartition(numPartitions)`：5）`cache()`：6）`persist()`：7）`pipe(command,[
Spark计算模型RDD(超详细)
CSDN_bird的博客
07-16 1154
二、 弹性分布式数据集RDD 2. RDD概述 2.1 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极...
pyspark 对RDD的相关api
maketubu7的博客
10-18 1375
1、aggregate，可以用来求平均值 如下示例 rdd2 = spark.sparkContext.parallelize([1,2,3,4,5,6,7,8,9,10]) seqop = (lambda x,y: (x[0]+ y, x[1]+ 1)) #0+1 0+1 1+2 1+1 3+3 2+1 cpmop= (lambda x,y: (x[0]+ y[0],...
spark 计算pi值
最新发布
04-29
在 Spark 中计算 pi 值可以使用 Monte Carlo 方法。具体步骤如下： 1. 在一个单位正方形中，随机生成大量的点（x, y）。 2. 统计落在单位圆内的点数 numInsideCircle。 3. 通过 numInsideCircle 和总点数 numTotal 计算 pi 值。 代码实现如下： ```python from pyspark.sql import SparkSession import random def inside(p): x, y = random.random(), random.random() return x*x + y*y < 1 if __name__ == "__main__": spark = SparkSession.builder.appName("Pi").getOrCreate() num_samples = 100000000 count = spark.sparkContext.parallelize(range(0, num_samples)).filter(inside).count() pi = 4 * count / num_samples print("Pi is roughly %f" % pi) spark.stop() ``` 在这个例子中，我们生成了 1 亿个点，并通过 filter 函数筛选出落在单位圆内的点的数量。最后通过 count 函数计算出 numInsideCircle。 最终的 pi 值就是 4 * numInsideCircle / numTotal。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值