Spark Example分析总结（一）

最新推荐文章于 2022-04-28 11:59:18 发布

OOM先生

最新推荐文章于 2022-04-28 11:59:18 发布

阅读量1k

点赞数

分类专栏：代码例子分析总结文章标签：大数据 hadoop spark

本文链接：https://blog.csdn.net/xiaoliu_1/article/details/114169378

版权

本文分析了Spark的几个示例，包括Pi迭代、KMeans聚类和逻辑回归。Pi迭代展示了如何将单机算法转化为Spark的并行计算；KMeans示例演示了Spark如何处理分布式聚类；逻辑回归展示了简单的MapReduce过程，适用于Spark的迭代计算。每个示例都探讨了如何利用Spark的分布式特性进行并行计算。

摘要由CSDN通过智能技术生成

(三)逻辑回归 LR Logistic regression

前言

这段时间会做一系列 Spark 的Example 的分析，主要是对于官方提供的例子，对于RDD， Streaming，ML 等相关的例子进行分析，也包括对于平时使用 Spark 应用的场景进行约简之后的pattern。想进行这次总结的原因是发现日常开发虽然经常用spark ，但是场景并不多，对于 Spark 的使用 Pattern 没有一个完整全面的理解。希望经过这些总结加深一些 Spark 使用层面的印象。

（一）Pi Iteration

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/LocalPi.scala

var count = 0
for (i <- 1 to 100000) {
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y <= 1) count += 1
}
println(s"Pi is roughly ${4 * count / 100000.0}"）

单机版算法是一个迭代算法，通过每一次循环迭代 count值，来估计Pi值

Spark 版本https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/SparkPi.scala

/** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder
.appName("Spark Pi")
.getOrCreate()
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
val count = spark.sparkContext.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)
println(s"Pi is roughly ${4.0 * count / (n - 1)}")
spark.stop()
}
}