Scala、Spark下载安装并配置

1、下载安装

下载地址：https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ

提取码：m9pj

• 这里安装到统一的软件安装位置/opt目录下
• 解压后建议修改名称，这里次修改为scala和spark
• 解压安装后进行环境变量配置vi /etc/profile

		export SCALA_HOME=/opt/scala
		export PATH=$PATH:$SCALA_HOME/bin
		export SPARK_HOME=/opt/spark
		export PATH=$PATH:$SPARK_HOME/bin

• 环境变量修改好以后再source /etc/profile
• 这样就安装完成了，spark 还需要修改配置文件

2、修改spark配置文件

• 进入spark文件夹下的conf文件夹
• 修改spark-env.sh.template、slaves.template两个文件名称，去掉后缀（也可以复制保留原文件）

		//直接修改文件名
		mv spark-env.sh.template spark-env.sh
		mv slaves.template slaves
		//复制一份文件并重命名
		cp spark-env.sh.template spark-env.sh
		cp slaves.template slaves

• 修改spark-env.sh文件内容
  • 配置以下变量
  • SPARK_MASTER_IP---->主机名
  • SPARK_EXECUTOR_MEMORY---->EXCUTOR内存大小根据需求修改

		export JAVA_HOME=/opt/jdk8
		export SCALA_HOME=/opt/scala
		export SPARK_HOME=/opt/spark
		export SPARK_MASTER_IP=hadoop
		export SPARK_EXECUTOR_MEMORY=1G

• 到此Spark配置完成

3、验证安装配置是否成功

（1）Scala 验证

• 直接输入命令scala进入 scala 命令行，成功进入如下图，则 scala 安装成功
• 退出scala命令行：Ctrl+c

（2）Spark 验证

• 输入spark-shell命令
• 出现出入界面说明Spark安装并配置成功