Spark学习内容

Scala安装
一、官网下载安装Scala：scala-2.12.8.tgz
https://www.scala-lang.org/download/

1.将压缩包从Windows传输到Linux当前目录下

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
put C:/Users/l/Douments/scala-2.12.8.tgz

2.安装
解压安装到指定目录下/opt/module（/opt是系统自带目录，之下的/module是自己创建的）
tar -zxvf scala-2.12.8.tgz -C /opt/module

3.安装之后的目录为scala-2.12.8，修改为scala
mv scala-2.12.8 scala

4.配置环境变量
在/etc/profile文件里添加HBase安装路径的配置信息，之后用source命令使配置生效。

vi /etc/profile

export SCALA_HOME=/opt/module/scala

export PATH=$SCALA_HOME/bin:$PATH

保存并使其立即生效 source /etc/profile

测试Scala安装成功，命令scala -version

启动：scala
可以使用命令:quit退出Scala解释器

或者，也可以直接使用“Ctrl+D”组合键，退出Scala解释器。

Spark安装
一、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

1.将压缩包从Windows传输到Linux当前目录下

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
put C:/Users/l/Douments/spark-2.4.1-bin-hadoop2.7.tgz

2.安装
解压安装到指定目录下/opt/module（/opt是系统自带目录，之下的/module是自