QQ交流群:335671559,欢迎交流
一、安装spark依赖的内容
1.JDK
spark是由Scala语言编写的,但是运行的环境是jvm,所以需要安装JDK
编译过程:Python、java、Scala编写的代码 -> scala编译器编译解释,生成class文件 -> 由jvm负责执行class文件(与java代码执行一致)
2.scala
由于
spark是由Scala语言编写的,所以依赖Scala环境,且由Scala编写的执行代码也需要环境进行编译
3.配置SSH免密码登录
集群节点无密码访问,与安装Hadoop时一致
4.安装Hadoop
hdfs是作为spark的持久层,所以需要安装Hadoop,同时如果需要配置spark on yarn,则Hadoop需要安装yarn版本的
5.安装spark
安装spark,执行spark代码
二、JDK安装
1.下载地址
用户可以在官网下载相应版本的JDK,本例使用JDK1.6,下载地址为:
http://www.oracle.com/technetwork/java/javase/archive-139210.html
development kit的bin包
2.下载后,在相应的目录下执行bin文件(假设JDK目录是 jdkpath)
./ jdk-6u45-linux-i586.bin
3.配置环境变量,修改/etc/profile文件增加以下内容
export JAVA_HOME= $jdkpath
export
PATH=$JAVA_HOME/bin:$PATH
export
CLASSPATH=.:$
JAVA_HOME/jre/lib/rt.jar:$
JAVA_HOME/jre/lib/dt.jar:$
JAVA_HOME/jre/lib/tools.jar
4.生效profile(或者重启机器)
source /etc/profile
5.终端输入 java -version
输出类似如下说明安装成功
三、安装Scala
1.下载地址
本例使
用的是
Scala 2.9.3
2.在安装目录下解压(假设Scala目录是scalapath)
tar -zxv
f
scala-2.9.3.tgz
3.配置环境变量,
修改/etc/profile文件增加以下内容
export SCALA_HOME= $
scalapath
export PATH=$SCALA_HOME/bin:$PATH
4.生效profile(或者重启机器)
source /etc/profile
四、配置SSH免密码登陆
首先,需要配置各个机器间的相互访问:
1、 配置ssh的自动登陆(在master机上