Spark实例演示之SparkPi

最新推荐文章于 2023-03-21 13:30:06 发布
最新推荐文章于 2023-03-21 13:30:06 发布
阅读量8.2k 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kinger0/article/details/44870779
版权
本文展示了如何使用Spark进行Pi的近似计算。通过创建SparkConf，设置appName和master，然后创建SparkContext。代码中计算了随机点落在单位圆内的比例，乘以4即为Pi的近似值。最后，启动Spark集群执行任务。
摘要由CSDN通过智能技术生成

1.贴上源码

object SparkPi {

def main(args: Array[String]) {

val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://hadoop1:7077").setJars(List("/home/kaiseu/MyProject/IdeaProjects/week2/out/artifacts/week2/week2.jar"))

val spark = new SparkContext(conf)


val slices = if (args.length > 0) args(0).toInt else 2

最低0.47元/天 解锁文章
kaiseu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark pi 详解
Talk Is Cheap
01-20 3731
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache
第一个Spark实例：求PI值
松门一枝花
05-15 2946
向spark提交jar，需要使用 bin下的spark-submit [hadoop@nbdo1 bin]$ ./spark-submit --help Usage: spark-submit [options] [app arguments] Usage: spark-submit --kill [submission ID] --master [spark://...] Usage: sp
Spark 简单实例（基本操作）
何成俭的博客
06-02 2918
目录[-] 1、准备文件 2、加载文件 3、显示一行 4、函数运用  （1）map  （2）collecct  （3）filter  （4）flatMap  （5）union  （6） join  （7）lookup  （8）groupByKey  （9）sortByKey 1、准备文件 ? 1 wget
spark实例2--sparkPi
weixin_34417183的博客
08-09 101
代码： import org.apache.spark.SparkConfimport org.apache.spark.SparkContext import scala.math.random object SparkPi { def main(args:Array[String]){ val conf=new SparkConf().setAppName("SparkPi")....
各模式下运行spark自带实例SparkPi
热门推荐
lihui的服务器技术博客
09-22 1万+
此系统是ubuntu，spark版本是1.0.0（下载的不是源码，而是编译好的，在我的其他文章里有下载网盘地址），hadoop版本2.2.0，scala版本2.10.4 1.spark-sunbmit命令：spark1.0之前的版本运行自带例子使用$SPARK_HOME/bin/run-example命令，对于spark1.0以后做出了改进，使用$SPARK_HOME/bin/spark-sub...
运行Spark提供的计算圆周率的示例程序
chuowen140381的博客
07-19 953
1、启动Spark服务 因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。 在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点...
大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）
m0_46615073的博客
08-25 1053
文章目录 前言 一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1
搭建Spark单机版环境
m0_59791585的博客
06-16 2397
3
Spark基础学习笔记03：搭建Spark单机版环境
lwmzl00的博客
06-16 292
文章目录 零、本讲学习目标 学会搭建Spark单机版环境 学会Spark应用程序的运行 学会启动Spark Shell 初步了解RDD的概念 一、搭建Spark单机版环境 （一）私有云上创建ied实例 创建端口 - ied_port 二）连接ied虚拟机 演示win7虚拟机通过FinalShell连接ied虚拟机 三）修改ied实例主机名 执行命令：hostnamectl set-hostname ied 重启虚拟机 再次连接ied虚拟机 四）设置IP地址与主机名映射 执行命令：yum -y instal
spark π计算的java实现
05-18
spark 是基于内存的计算框架，在集群中即使计算10000次pi也很快，这是他的java实现，希望对大家有所帮助
Spark设计实现π的计算
赵广陆
11-04 1902
目录1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-client或Yarn-cluster模式提交 1 分布式估算圆周率 计算原理 假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。 可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷
SparkPi
weixin_34114823的博客
11-04 75
import scala.math.randomimport org.apache.spark._object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi") val spark = new SparkContext(conf)...
PySpark实战（四）——一个Spark程序（py编写，圆周率Pi的计算）
Stack It Up
03-21 668
Spark程序_圆周率PI的计算
大数据学习-Spark环境配置&官方示例SparkPi
WeixinX_的博客
09-09 2003
Spark环境配置 文章目录Spark环境配置1、压缩包下载2、解压安装3、修改配置文件1）添加环境变量2）配置spark-env.sh文件3）配置slaves文件4、启动spark集群1）启动hadoop2）启动spark3）查看进程4）查看spark集群运行信息 1、压缩包下载 scala下载地址：https://www.scala-lang.org/download/ 所选择版本为 scala-2.13.3.tgz spark下载地址：http://spark.apache.org/downloads
Spark 计算PI
叶小刀
07-25 2027
Spark-Hadoop集群安装见：https://blog.csdn.net/qq_25948717/article/details/80758713 （1）计算圆周率pi：在spark安装目录下运行：run-example SparkPi 10 > SparkPi.txt          在文件里可以看到：Pi is roughly 3.13981513981514...
spark(三)------spark pi任务提交
weixin_52188717的博客
11-07 2907
1.输出1到100的数字中x,y轴的和在单位圆中的点，并统计个数 object sparkPi { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf() conf.setAppName("sparkPi") conf.setMaster("local") val context: SparkContext = new SparkContext(conf) val
【spark】spark计算Pi
开发随笔-猫咪酱
06-17 7037
cd $SPARK_HOME/bin ./spark-submit --master spark://node111:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.1.1.jar 100 命令格式：./$SPARK_HOME/bin/spark-submit
SparkPi源码分析--包含对新安装的Spark集群的测试
Yore - Home
07-22 666
一、Spark集群的测试 当我们安装好Spark后，需要对Spark做一些测试，看新安装的Spark集群是否可以使用，这个时候有如下几种方法验证和测试： ①使用jps命令查看下进程，在主节点上org.apache.spark.deploy.master.Master进程会启动，从节点上则会启动org.apache.spark.deploy.worker.Worker进程，如果启动了histor...
spark本地运行SparkPi案例
最新发布
06-09
运行SparkPi案例需要首先安装并配置好Spark环境。下面是在本地运行SparkPi案例的步骤： 1. 下载并解压缩Spark，进入Spark的bin目录。 2. 执行以下命令启动SparkPi案例： ``` ./spark-submit --class org.apache....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值