spark上使用scala及python编程练习

官网Quick Start介绍了如何使用spark进行分布式计算.本博文以此为蓝本，利用scala和python两种语言简单实践了一下实验内容，有利于增进认识。实现的功能为统计README.md文件下字符a和字符b分别有多少个。

scala版本计算

1. 安装 sbt
   SBT(Simple Build Tool)是一个现代构建工具。它是用Scala编写的，并且针对Scala也提供了很多方便快捷的功能。它也是一个通用的构建工具。具体可参考，第一次用，具体也不是很清楚。
   1）从官网下载安装包，我下载的是最新版【通用平台 sbt-0.13.13.tgz】
   2) 解压，并安装，非常耗时，linux安装sbt过程详解
   其中，最后一步，sbt sbt-version非常耗时，大约用了20分钟才完事,天呐。
2. 编写scala程序SimpleApp.scala

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "file://usr/spark2.0/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    sc.stop()
  }
}

3 scala需要打包，创建simple.sbt如下

   name := "Simple Project"
   version := "1.0"
   scalaVersion := "2.11.8"
   libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"

4 .sbt打包需要特定格式的目录结构：

 $find .
  .
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

5 打包sbt package
第一次执行打包，需要下载配置文件，非常耗时啊，20分钟，我的天呐。
6 执行命令

./bin/spark-submit --class "SimpleApp" \
--master local[4] \
mytest/scala_code/target/scala-2.11/simple-project_2.11-1.0.jar


python 版本

相比scala和JAVA版本，python版本就简单多了，没有打包的烦恼。
直接编写SimpleApp.py代码：

from pyspark import SparkContext
logFile = “YOUR_SPARK_HOME/README.md” # Should be some file on your system
sc = SparkContext(“local”, “Simple App”)
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: ‘a’ in s).count()
numBs = logData.filter(lambda s: ‘b’ in s).count()
print(“Lines with a: %i, lines with b: %i” % (numAs, numBs))
sc.stop()

使用 spark-submit 命令直接运行程序：

$ /usr/spark2.0/bin/spark-submit \
–master local[4] \
SimpleApp.py
…
Lines with a: 46, Lines with b: 23