Spark学习笔记一 环境搭建

一、环境介绍

我在这里用的是三台虚拟机

master 192.168.1.100

slave1 192.168.1.101

slave2 192.168.1.102

二、程序下载

这里已经把程序传到网盘上这，方便大家下载

1、hadoop-2.5.2

2、scala-2.11.6 

3、spark-1.3.1-bin-hadoop2.4

三、开始安装

1、安装hadoop，安装方法网上很多，请自行搜索

2、解压scala-2.11.6 到  /usr/local/scala

3、解压spark-1.3.1-bin-hadoop2.4 到 /usr/local/spark

4、修改配置文件

复制 spark/conf/spark-defaults.conf.template 为 spark-defaults.conf

添加如下配置信息

export SCALA_HOME=/usr/local/scala

export JAVA_HOME=/usr/java/jdk1.7.0_65

在 spark/conf 目录下 穿件文件 slaves 内容如下

slave1
slave2

5、配置环境变量

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

6、讲spark 、scala 分发到集群节点上

7、spark-shell  即可进入

执行  /spark/bin/start-all.sh  即可启动spark