大数据——在CentOS 7上安装和配置Spark

下载

Spark下载

安装

这边使用的是spark-2.4.5

• 把虚拟机的目录移动到根目录下的software目录下

[root@hadoop100 ~]# cd /software

• 把下载好的安装包拖进来
• 压安装包到根目录下的opt目录下

[root@hadoop100 software]# tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt

• 移动到根目录下的opt目录下

[root@hadoop100 software]# cd /opt

• 查看目录下的文件

[root@hadoop100 opt]# ll

配置

• 更改名字

[root@hadoop100 opt]# mv spark-2.4.5-bin-hadoop2.6/ spark245

• 移动到spark245目录下的conf目录下

[root@hadoop100 spark245]# cd ./conf/

• 查看目录下的文件

[root@hadoop100 conf]# ls

• 拷贝一份spark-env.sh.template文件到此目录下，并改名

[root@hadoop100 conf]# cp spark-env.sh.template /opt/spark245/conf/spark-env.sh

• 再次查看目录下的文件

[root@hadoop100 conf]# ls

• 进入spark-env.sh文件

[root@hadoop100 conf]# vi spark-env.sh

• 添加如下

export JAVA_HOME=/opt/java8
export SCALA_HOME=/opt/scala211
export SPARK_HOME=/opt/spark245
export SPARK_MASTER_IP=hadoop100
export SPARK_EXECUTOR_MEMORY=1G

• 保存退出
• 拷贝一份slaves.template文件到此目录下，并改名

[root@hadoop100 conf]# cp slaves.template slaves

• 进入slaveswe文件（这里是要配置spark集群所需要配置的）

• 配置环境变量

[root@hadoop100 conf]# vi /etc/profile

• 添加如下

export SPARK_HOME=/opt/spark245
export PATH=$PATH:$SPARK_HOME/bin

• 保存退出，使环境变量生效

[root@hadoop100 conf]# source /etc/profile

使用

一种方式启动

• 本机启动spark

[root@hadoop100 bin]# spark-shell

另一种方式启动

• 进入spark目录下的sbin目录下

[root@hadoop100 spark245]# cd sbin/

• 启动spark

[root@hadoop100 sbin]# ./start-all.sh

• 查看进程

[root@hadoop100 sbin]# jps

• 再使用spark-shell启动

[root@hadoop100 bin]# spark-shell

• 再次查看一下进程

[root@hadoop100 sbin]# jps

• 退出CTRL+C