spark 安装与使用 educoder

大致顺序是这样，仅供参考，欢迎指正！命令行不能直接复制，所以出错的可能比较大。

第一关：

mkdir /app
cd /opt
tar -zxvf scala-2.12.7.tgz -C /app
vi /etc/profile

SCALA_HOME=/app/scala-2.12.7
export PATH =$PATH:$SCALA_HOME/bin

cd /app
cd scala-2.12.7
scala -version

第2关：安装与配置Spark开发环境

mkdir /app
cd /opt

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app  

vim /etc/profile  

SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

cd /app/spark-2.2.2-bin-hadoop2.7/conf  
cp spark-env.sh.template spark-env.sh
hostname(复制完替换到下文中的machine_name)
vim spark-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=machine_name   # machine_name 根据自己的主机确定
export SPARK_LOCAL_IP=machine_name    # machine_name 根据自己的主机确定(hostname一下将自己的主机号替换！！！！！)

cd /app/spark-2.2.2-bin-hadoop2.7
./sbin/start-all.sh

jps