官网Quick Start介绍了如何使用spark进行分布式计算.本博文以此为蓝本,利用scala和python两种语言简单实践了一下实验内容,有利于增进认识。实现的功能为统计README.md文件下字符a和字符b分别有多少个。
scala版本计算
- 安装 sbt
SBT(Simple Build Tool)是一个现代构建工具。它是用Scala编写的,并且针对Scala也提供了很多方便快捷的功能。它也是一个通用的构建工具。具体可参考,第一次用,具体也不是很清楚。
1)从官网下载安装包,我下载的是最新版【通用平台 sbt-0.13.13.tgz】
2) 解压,并安装,非常耗时,linux安装sbt过程详解
其中,最后一步,sbt sbt-version非常耗时,大约用了20分钟才完事,天呐。 - 编写scala程序SimpleApp.scala
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "file://usr/spark2.0/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")
sc.stop()
}
}
3 scala需要打包,创建simple.sbt如下
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"
4 .sbt打包需要特定格式的目录结构:
$find .
.
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala
5 打包sbt package
第一次执行打包,需要下载配置文件,非常耗时啊,20分钟,我的天呐。
6 执行命令
./bin/spark-submit --class "SimpleApp" \
--master local[4] \
mytest/scala_code/target/scala-2.11/simple-project_2.11-1.0.jar
python 版本
相比scala和JAVA版本,python版本就简单多了,没有打包的烦恼。
直接编写SimpleApp.py代码:
from pyspark import SparkContext
logFile = “YOUR_SPARK_HOME/README.md” # Should be some file on your system
sc = SparkContext(“local”, “Simple App”)
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: ‘a’ in s).count()
numBs = logData.filter(lambda s: ‘b’ in s).count()
print(“Lines with a: %i, lines with b: %i” % (numAs, numBs))
sc.stop()
使用 spark-submit 命令直接运行程序:
$ /usr/spark2.0/bin/spark-submit \
–master local[4] \
SimpleApp.py
…
Lines with a: 46, Lines with b: 23