Spark的安装过程
首先要确认Scala安装好
第一步去 Scala 官网 https://www.scala-lang.org/ 下载安装包
上传并解压到 /home/hadoop01/apps/scala-2.11.8
配置环境变量
export SCALA_HOME=/home/hadoop01/apps/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
Spark单机模式的安装
Spark官网 http://spark.apache.org/ 下载安装包
上传并解压
配置环境变量
export SPARK_HOME=/home/hadoop01/apps/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
测试
运行一个简单的spark小程序
spark -shell //进入spark客户端
scala> sc.textFile("/home/hadoop01/apps/data/hello").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect.foreach(println)
完全分布式的安装配置
cd /home/hadoop01/ap