spark 安装依赖及部署

本文档详细介绍了Spark分布式集群的安装配置过程,包括设置ssh无密码登陆、配置master和slaves节点间的互信,以及重要目录的路径说明。确保在安装完成后,能成功实现节点间的通信和数据存储。
摘要由CSDN通过智能技术生成
QQ交流群:335671559,欢迎交流

一、安装spark依赖的内容
1.JDK
    spark是由Scala语言编写的,但是运行的环境是jvm,所以需要安装JDK
    编译过程:Python、java、Scala编写的代码 -> scala编译器编译解释,生成class文件 -> 由jvm负责执行class文件(与java代码执行一致)
2.scala
    由于   spark是由Scala语言编写的,所以依赖Scala环境,且由Scala编写的执行代码也需要环境进行编译
3.配置SSH免密码登录
    集群节点无密码访问,与安装Hadoop时一致
4.安装Hadoop
    hdfs是作为spark的持久层,所以需要安装Hadoop,同时如果需要配置spark on yarn,则Hadoop需要安装yarn版本的
5.安装spark
    安装spark,执行spark代码
二、JDK安装
1.下载地址
    用户可以在官网下载相应版本的JDK,本例使用JDK1.6,下载地址为:  http://www.oracle.com/technetwork/java/javase/archive-139210.html
    development kit的bin包
2.下载后,在相应的目录下执行bin文件(假设JDK目录是 jdkpath)
    ./ jdk-6u45-linux-i586.bin
3.配置环境变量,修改/etc/profile文件增加以下内容
   export  JAVA_HOME= $jdkpath
    export    PATH=$JAVA_HOME/bin:$PATH
    export   CLASSPATH=.:$ JAVA_HOME/jre/lib/rt.jar:$ JAVA_HOME/jre/lib/dt.jar:$ JAVA_HOME/jre/lib/tools.jar

4.生效profile(或者重启机器)
    source /etc/profile

5.终端输入 java -version

    输出类似如下说明安装成功

    

三、安装Scala
1.下载地址
    官网下载地址: http://www.scala-lang.org/download/all.html
    本例使 用的是 Scala 2.9.3
2.在安装目录下解压(假设Scala目录是scalapath)
    tar -zxv scala-2.9.3.tgz
3.配置环境变量, 修改/etc/profile文件增加以下内容
    export  SCALA_HOME= $ scalapath
   export   PATH=$SCALA_HOME/bin:$PATH
4.生效profile(或者重启机器)
    source /etc/profile

四、配置SSH免密码登陆

首先,需要配置各个机器间的相互访问:

1 配置ssh的自动登陆(在master机上

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值