spark java教程_《Spark 官方文档》Spark快速入门

快速入门

本教程是对Spark的一个快速简介。首先，我们通过Spark的交互式shell介绍一下API(主要是Python或Scala)，然后展示一下如何用Java、Scala、Python写一个Spark应用。更完整参考看这里：programming guide

首先，请到Spark website下载一个Spark发布版本，以便后续方便学习。我们暂时还不会用到HDFS，所以你可以使用任何版本的Hadoop。

使用Spark shell交互式分析

基础

利用Spark shell 很容易学习Spark API，同时也Spark shell也是强大的交互式数据分析工具。Spark shell既支持Scala(Scala版本的shell在Java虚拟机中运行，所以在这个shell中可以引用现有的Java库)，也支持Python。在Spark目录下运行下面的命令可以启动一个Spark shell：

./bin/spark-shell

Spark最主要的抽象概念是个分布式集合，也叫作弹性分布式数据集(Resilient Distributed Dataset – RDD)。RDD可以由Hadoop InputFormats读取HDFS文件创建得来，或者从其他RDD转换得到。下面我们就先利用Spark源代码目录下的README文件来新建一个RDD：

scala> val textFile = sc.textFile("README.md")

textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6e3

RDD有两种算子，action算子(actions)返回结果，transformation算子(

scala> textFile.count() // Number of items in this RDD

res0: Long = 126

scala> textFile.first() // First item in this RDD

res1: String = # Apache Spark

再来看下如何使用transformation算子。我们利用filter这个transformation算子返回一个只包含原始文件子集的新RDD。

scala> val linesWithSpark = textFile.filter(line => line.contains("