ubuntu(16.10) spark安装

• ubuntu-64.10基本环境配置

  • 1.安装JDK，下载jdk-8u111-linux-x64.tar.gz，解压到/opt/jdk1.8.0_111

             下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

  1）环境配置：

  sudo  vim  /etc/profile/

  在最后一行增加：

              export JAVA_HOME=/opt/jdk1.8.0_111

              export JRE_HOME=${JAVA_HOME}/jre

              export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

              export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH         

  2）输入：source /etc/profile   使得配置文件生效

  3）验证java是否安装成功：java  -version

  看到java版本相关信息，则表示安装成功！

  • 2.安装scala,下载scala-2.10.4.tgz，解压到/opt/scala-2.10.4

             下地地址： http://www.scala-lang.org/

  • 1）环境配置：

    sudo  vim  /etc/profile/

    在最后一行增加：

                export SCALA_HOME=/opt/scala-2.10.4

                export PATH=${SCALA_HOME}/bin:$PATH

    2）输入：source /etc/profile   使得配置文件生效

    3）验证scala 是否安装成功：scala  -version

    看到scala版本相关信息，则表示安装成功！

  • 3.安装Spark

                       下载地址：http://spark.apache.org/downloads.html

  安装spark，有两种安装方式

  (1) 使用已经编译好的spark部署包安装

  下载spark-1.6.0-bin-hadoop2.6.tgz，解压到/opt/spark-1.6.0-bin-hadoop.2.6

                        

• 1）环境配置：

  sudo  vim  /etc/profile/

  在最后一行增加：

             export SPARK_HOME=/opt/spark-1.6.0-bin-hadoop.2.6/

  2）输入：source /etc/profile   使得配置文件生效

  3）测试安装结果

  打开命令窗口，切换到Spark的 bin 目录： 

  cd   /opt/spark-1.6.0-bin-hadoop.2.6/bin/

          执行 ./spark-shell, 打开Scala到Spark的连接窗口, 启动过程中无错误信息，出现scala>，启动成功

(2) spark源码编译安装

博客：spark源码编译安装