准备
首先,安装Spark需要检查是否安装jdk
下载spark安装包 https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
Spark安装不一定需要安装Hadoop,若已搭建Hadoop集群,建议下载对应版本Hadoop
解压安装包
# 解压Spark安装包到指定路径
tar -zxf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/softs
# 为方便使用,可建立软链接
ln -s spark-2.2.0-bin-hadoop2.7 spark
配置环境变量
vi /etc/profile
# 增加内容
export SPARK_HOME=/opt/install/spark-2.2.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
# 使环境变量生效
source /etc/profile
配置文件
cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
# 增加内容
# jdk安装目录
export JAVA_HOME=/opt/softs/java8
# hadoop安装路径
export HADOOP_HOME=/opt/install/hadoop
# hadoop配置文件路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#指定master的主机
export SPARK_MASTER_HOST=hadoop101
#指定master的端口
export SPARK_MASTER_PORT=7077
# slaves单台可以不配置,也可以按下面方式配置
cp slaves.template slaves
vi slaves
# 增加内容 删掉localhost
hadoop1 #节点名
启动Spark集群
在spark目录下sbin/start-all.sh
输入jps,查看是否有Master和Worker进程
启动spark-shell
- 测试scala交互式环境
spark-shell --master spark://hadoop1:7077
可以通过浏览器访问:http://hadoop101:8080/
- 测试Spark on YARN
spark-shell --master yarn
可以通过浏览器访问:http://hadoop:4041/