从零开始学习Spark--第3章 spark的example

最新推荐文章于 2022-04-28 11:59:18 发布

未济2019

最新推荐文章于 2022-04-28 11:59:18 发布

阅读量1.2w

点赞数

分类专栏：从零开始学习Spark 文章标签： scala spark 大数据

本文链接：https://blog.csdn.net/lizhe_dashuju/article/details/17139019

版权

本文从零开始介绍Spark的学习，通过计算Pi值的例子展示Spark的使用。首先，通过命令行运行SparkPi示例，利用Spark Web UI观察作业执行情况。接着，分析SparkPi源代码，讲解其MapReduce过程。此外，还涵盖了Broadcast、Cassandra、HBase、Hdfs等概念的测试示例，以及 ALS 和 K-Means 算法的应用。

摘要由CSDN通过智能技术生成

1. 计算Pi值

1.1 命令行：

#spark安装在/home/brian/setup/spark-new/spark-0.8.0目录
cd /home/brian/setup/spark-new/spark-0.8.0

#在本地运行计算Pi值的Spark程序，4个工作线程
./run-example org.apache.spark.examples.SparkPi local[4]

1.2 Web UI
在Log里，可以看到 ui.SparkUI: Started Spark Web UI at http://brian-i3.local:4040
在浏览器地址栏输入http://brian-i3.local:4040，回车，可以看到作业执行情况。

1.3 SparkPi.scal的源代码分析

1.3.1 代码在examples/src/main/scala/org/apache/spark/examples目录下

1.3.2 代码内容如下：
package org.apache.spark.examples

import scala.math.random
import org.apache.spark._
import SparkContext._

/** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
if (args.lengt