Linux安装单机版Spark(CentOS7+Spark2.1.1+Scala2.12.2)

1 安装Spark依赖的Scala

        1.2 为Scala配置环境变量

        1.3 验证Scala

2下载和解压缩Spark

3 Spark相关的配置

         3.1 配置环境变量

         3.2 配置conf目录下的文件

                   3.2.1 新建spark-env.h文件

                   3.2.2 新建slaves文件

4 测试单机模式的Spark

         4.1 用单机模式运行Spark示例程序

         4.2 启动Spark  Shell命令行窗口

 

关键字：Linux   CentOS    Spark   Scala   Java

版本号：CentOS7     Spark2.1.1   Scala2.12.2   JDK1.8

 

 说明：单机版的Spark的机器上只需要安装Scala和JDK即可，其他诸如Hadoop、Zookeeper之类的东西可以一概不安装。如果要安装基于Hadoop的Spark集群，请参考该博文：

http://blog.csdn.net/pucao_cug/article/details/72353701

 

1 安装Spark依赖的Scala

     Scala的下载和解压缩可以参考下面博文的对应章节，步骤和方法一模一样：

http://blog.csdn.net/pucao_cug/article/details/72353701

    

1.2 为Scala配置环境变量

     编辑/etc/profile这个文件，在文件中增加一行配置：

  export    SCALA_HOME=/opt/scala/scala-2.12.2

  在该文件的PATH变量中增加下面的内容：

  ${SCALA_HOME}/bin

添加完成后，我的/etc/profile的配置如下：

export JAVA_HOME=/opt/java/jdk1.8.0_121
export SCALA_HOME=/opt/scala/scala-2.12.2
export CLASS_PATH=.:${JAVA_HOME}/lib:$CLASS_PATH
export PATH=.:${JAVA_HOME}/bin: ${SCALA_HOME}/bin:$PATH

  环境变量配置完成后，执行下面的命令：

source    /etc/profile

1.3  验证Scala

     执行命令：

scala  -version

如图：

   

2 下载和解压缩Spark

      下载和解压缩Spark可以参考该博文的下载和解压缩章节，步骤和方法一模一样：