2020.10.30课堂笔记(在Linux中安装配置Spark)

下载Scala和spark的安装程序，放在/root/soft目录下：
解压scala-2.11.12.tgz：

[root@hadoop100 ~]# cd soft/
[root@hadoop100 soft]# tar -xf scala-2.11.12.tgz -C /opt
[root@hadoop100 soft]# cd /opt
[root@hadoop100 opt]# mv scala-2.11.12/  scala211

解压spark-2.4.5-bin-hadoop2.6.tgz：

[root@hadoop100 opt]# cd /root/soft
[root@hadoop100 soft]# tar xf spark-2.4.5-bin-hadoop2.6.tgz
[root@hadoop100 soft]# cd /opt
[root@hadoop100 opt]# mv spark-2.4.5-bin-hadoop2.6/   spark245

然后在环境变量中配置：

[root@hadoop100 opt]# vi /etc/profile

添加SCALA_HOME和SPARK_HOME，并配置bin目录到PATH中

export SCALA_HOME=/opt/scala211
export SPARK_HOME=/opt/spark245
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$REDIS_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

末行模式中保存退出

:wq  或   :x   或  shift+zz

source环境变量

source /etc/profile

验证是否配置成功：

[root@hadoop100 sbin]# scala
Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221).
Type in expressions for evaluation. Or try :help.

[root@hadoop100  bin]