Saprk的安装与配置

• 官网下载安装Scala：scala-2.12.8.tgz

  https://www.scala-lang.org/download/
  tar -zxvf scala-2.12.8.tgz -C /opt/module
  mv scala-2.12.8 scala
  测试：scala -version
  启动：scala

• 官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz

  https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz
  解压、重命名
  启动spark
  ①先启动hadoop 环境
  start-all.sh
  ②启动spark环境
  进入到SPARK_HOME/sbin下运行start-all.sh
  /opt/module/spark/sbin/start-all.sh
  [注] 如果使用start-all.sh时候会重复启动hadoop配置，需要./在当前工作目录下执行命令
  jps 观察进程 多出 worker 和 mater 两个进程。
  查看spark的web控制页面：