1.使用Spark Shell进行交互式分析

使用Spark Shell进行交互式分析

基础

Spark的shell提供了一个学习API的简单方法，也是一个交互式分析数据的强大工具。它可以在Scala（在Java VM上运行，因此是使用现有Java库的好方法）或Python中提供。通过在Spark目录中运行以下代码来启动它：

D:\spark-1.6.2-bin-hadoop2.6\bin>spark-shell

Spark的主要抽象是一个名为Resilient Distributed Dataset(RDD)。RDD可以通过Hadoop InputFormats（例如HDFS文件）或通过转换其他数据集来创建。让我们从Spark源目录中的README文件的文本中创建一个新的数据集：

scala> val textFile = sc.textFile("../README.md")
textFile: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[5] at textFile at <console>:27

您可以直接从数据集中获取值，通过调用某些操作，或者转换数据集来获取新的值

scala> textFile.count()
res0: Long = 95