Spark安装和实践(Spark2.0)

Spark

Spark简介

Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架
Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。
1.运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。
2.易用性好：Spark不仅支持Scala编写应用程序，而且支持Java和Python等语言进行编写，特别是Scala是一种高效、可拓展的语言，能够用简洁的代码处理较为复杂的处理工作。
3.通用性强：Spark生态圈即BDAS（伯克利数据分析栈）包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等组件，这些组件分别处理Spark Core提供内存计算框架、SparkStreaming的实时处理应用、Spark SQL的即席查询、MLlib或MLbase的机器学习和GraphX的图处理。
4.随处运行：Spark具有很强的适应性，能够读取HDFS、Cassandra、HBase、S3和Techyon为持久层读写原生数据，能够以Mesos、YARN和自身携带的Standalone作为资源管理器调度job，来完成Spark应用程序的计算
5.你只要记住这一个计算框架就可以了。

安装Spark2.0

首先需要去官网下载Spark安装文件.Spark安装

本次教程的具体运行环境如下:
hadoop 2.6.0
java 1.8
Spark 2.0

Spark的安装过程较为简单，在已安装好 Hadoop 的前提下，经过简单配置即可使用。

解压与重命名

$ | sudo tar -zxvf spark-2.0.0-bin-without-hadoop.tgz -C /usr/local/src
$ | cd /usr/local/src
$ | mv spark-2.0.0-bin-without-hadoop /spark

安装后，还需要修改Spark的配置文件spark-env.sh

$ | cd /usr/local/src/spark
$ | cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第一行添加以下配置信息:

$ | export SPARK_DIST_CLASSPATH=$(/usr/local/src/hadoop/bin/hadoop classpath)

配置完成后就可以直接使用，不需要像Hadoop运行启动命令。
通过运行Spark自带的示例，验证Spark是否安装成功。

$ | cd /usr/local/spark
$ | bin/run-example SparkPi

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）:

$ | cd /usr/local/src/spark
$ | bin/run-example SparkPi 2 >&1 | grep “Pi is”

启动Spark Shell

$ | cd /usr/local/src/spark
$ | bin /spark-shell

启动spark-shell后，会自动创建名为sc的SparkContext对象和名为spark的SparkSession对象,如图：

加载text文件

spark创建sc，可以加载本地文件和HDFS文件创建RDD。这里用Spark自带的本地文件README.md文件测试。

$ | val textFile = sc.textFile("file:///usr/local/src/spark/README.md")
$ | //获取RDD文件textFile的第一行内容
$ | textFile.first()
$ |  //获取RDD文件textFile所有项的计数
$ | textFile.count()
$ |  //抽取含有“Spark”的行，返回一个新的RDD
$ | val lineWithSpark = textFile.filter(line => $ |  line.contains("Spark"))
$ | //统计新的RDD的行数
$ | lineWithSpark.count()

这样就配置完成了！