Spark 安装

上次记录了hadoop的安装步骤，这次记录一下自己安装Spark的步骤

1，Hadoop

首先我们需要安装hadoop，不知道如何安装的可以查看网上的教程，也可以看我的这篇博客 Hadoop安装

2，下载并安装

     1，下载地址：  http://spark.apache.org/downloads.html

     

     2，安装：

          sudo tar -zxf ~/下载/spark-2.1.0-bin-hadoop2.7.tgz -C /usr/local/

          cd /usr/local

          sudo mv ./spark-2.1.0-bin-hadoop2.7/ ./spark

          sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

     3，安装后需要修改配置文件：

          cd /usr/local/spark

          cp ./conf/spark-env.sh.template ./conf/spark-env.sh

     4， 编辑 ./conf/spark-env.sh：vim  ./conf/spark-env.sh

          在最后加上一行： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

3，运行spark

     1， 在 ./examples/src/main 目录下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi（即计算 π 的近似值），执行如下命令：

     cd /usr/local/spark

     ./bin/run-example SparkPi

     这个时候你会看到密密麻麻一大堆的输出信息，根本没办法查找正确的输出结果，此时我们可以 可以通过  grep  命令进行过滤（命令中的  2>&1  可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）

     ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

至此，Spark就算是安装完毕了！