关闭

Spark集群安装

标签: Spark集群安装
269人阅读 评论(0) 收藏 举报
分类:

Spark在生产环境中,主要部署在安装有linux系统的集群中。在linux系统中安装Spark需要预先安装JDK、Scala等所需要的依赖。由于Spark是计算框架,所以需要预先在集群内搭建好存储在数据的持久层,Spark主要使用HDFS充当持久层,所以本教程安装Spark集群前需要安装Hadoop集群。

1.Hadoop集群搭建(参考这里

2.JDK安装(参考这里

3.Scala安装

首先下载,Scala可以去官网进行下载,官方网址(http://www.scala-lang.org/我下载的是:scala-2.11.7.tgz.

接下来就是解压到指定的文件中,然后在etc/profile配置环境变量即可。安装成功后输入命令scala会出现以下情形,如下图:


4.Spark安装

首先下载,Scala可以去官网进行下载,官方网址(http://spark.apache.org/我下载的是:spark-1.5.1-bin-hadoop2.6.tgz接下来就是解压到指定的文件中,最后就是配置文件。这里面主要介绍两个文件,一个是conf/spark-env.sh,另一个是conf/slaves,这两个文件初始都没有,可以进行如下操作生成:

cp spark-env.sh.template  spark-env.sh
cp slaves.template slaves

编辑conf/spark-env.sh文件,加入下面的配置参数

export SCALA_HOME=/usr/local/scala-2.11.7
export SPARK_HOME=/usr/jiangfeng/spark-1.5.1-bin-hadoop2.6
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export SPARK_MASTER_IP=Master
export SPARK_WORK_MEMORY=1000m

这些都配置的都是基本的参数,其他复杂的参数请见官网的配置。

编辑conf/slaves文件,我搭建的集群只有一个节点,将节点的主机名加入

Slave1
到这里面就已经ok了。

启动集群主、从节点显示如下表示成功。

主节点(Master)正常状态


从节点(Slave1)正常状态



到这就一切搞定了。


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:17950次
    • 积分:701
    • 等级:
    • 排名:千里之外
    • 原创:53篇
    • 转载:11篇
    • 译文:0篇
    • 评论:3条
    联系方式
    qq:1154142410 email:1154142410@qq.com