CentOS7 从零搭建Spark 2.0 单机环境

序言

预先以Minimal方式在VMVare虚拟机内安装 CentOS7。

配置网络环境

1. 获得网络配置信息。VMWare: 编辑->虚拟网络编辑器->VMnet信息->NAT 设置。 记下 子网IP, 子网掩码，网管IP信息。
   
2. 编辑CentOS网络配置文件。
   
vm /etc/sysconfig/network-scripts/ifcfg-eno16777736

   
3. 移除rule 文件
   shell
rm /etc/udev/rules.d/70-persistent-net.rules

4. 修改主机名
   
hostname hangzhi
vi /etc/hostname #替换localhost.localdomian 为hangzhi
vi /etc/hosts #替换localhost.localdomian 为hangzhi

5. 重启虚拟机
   
reboot


更新/安装基础软件

1. 更新yum.

   yum upgrade

2. Install tools

   yum install weget

安装Spark 2.0

1. 安装配置OpenSDK

   • 安装Java

     sudo yum install java-1.8.0-openjdk-devel.x86_64
     

   • 配置环境变量

   vim /etc/profile
   
   #在文件末尾位置加入以下代码
   
   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64 #路径可能因jdk版本不同而有所差异
   export JRE_HOME=$JAVA_HOME/jre
   export PATH=$PATH:$JAVA_HOME/bin#注意冒号
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   • 载入环境变量配置

   source /etc/profile

2. 安装配置scala

   • 下载并解压scala 2.11.8

     http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
     
     tar -zxf scala-2.11.8.tgz
     
     mv scala-2.11.8 /usr/lib

   • 配置环境变量

   vim /etc/profile
   
   # 在文件末尾位置加入以下代码
   
   export SCALA_HOME=/usr/lib/scala-2.11.8
   export PATH=$PATH:$SCALA_HOME/bin
   

   • 载入环境变量配置

   source /etc/profile

3. 下载并配置 spark 2.0

   • 下载Spark 2.0

   cd ~
   wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
   
   tar -zxf spark-2.0.0-bin-hadoop2.7.tgz

   • 配置环境变量

       vim /etc/profile
       # 在文件末尾位置加入以下代码
       export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7

   单机模式下运行

    cd $SPARK_HOME
    ./bin/run-example SparkPi
   

引用：
http://www.scala-lang.org/
http://spark.apache.org/
http://www.tuicool.com/articles/Vza63m
http://shiyanjun.cn/archives/696.html