在vmware虚拟机上配置Scala和Spark并初步使用

准备阶段

一台配置好Java环境的虚拟机
scala-2.11.12.tgz
spark-2.4.5-bin-hadoop2.6.tgz

安装包

将scala和spark的安装包导入虚拟机
解压，移动到opt目录下（或自定义），并改名

tar -zxvf scala-2.11.12.tgz -C /opt/
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/
cd /opt/
mv scala-2.11.12 scala
mv spark-2.4.5-bin-hadoop2.6 spark

配置文件

scala部分

vi /etc/profile

加入：

export SCALA_HOME=/opt/scala
export PATH=$SCALA_HOME/bin

输入scala -version可检查scala是否安装及配置成功

spark部分

vi /etc/profile
加入

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin

单机模式：
进入/opt/spark/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh在末尾加入：

export JAVA_HOME=/opt/jdk1.8.0_221
export SCALA_HOME=/opt/scala
export SPARK_HOME=/opt/spark
export SPARK_MASTER_IP=HadoopY
export SPARK_EXECUTOR_MEMORY=2G //根据实际需求和虚拟机内存大小来分配spark的内存大小

集群模式：
集群模式也需要以上同样的步骤，并且还需要以下的额外操作
cp slaves.template slaves
vi slaves加入slaves主机的主机名

spark初体验

spark-shell：Spark自带的交互式工具

本机
spark-shell --master local[*]
*号为分配处理器的数量（最大不可超过虚拟机的配置）

Standalone
如果没有配置环境变量或者防止和Hadoop冲突，请在spark安装目录的sbin文件下执行语句./start-all.sh

JPS检查应如下图所示：

spark-shell --master spark://HadoopY:7077
HadoopY为个人的主机名，不可以使用localhost

YARN
spark-shell --master yarn