Spark集群安装

原创 2015年11月19日 19:18:37

Spark在生产环境中,主要部署在安装有linux系统的集群中。在linux系统中安装Spark需要预先安装JDK、Scala等所需要的依赖。由于Spark是计算框架,所以需要预先在集群内搭建好存储在数据的持久层,Spark主要使用HDFS充当持久层,所以本教程安装Spark集群前需要安装Hadoop集群。

1.Hadoop集群搭建(参考这里

2.JDK安装(参考这里

3.Scala安装

首先下载,Scala可以去官网进行下载,官方网址(http://www.scala-lang.org/我下载的是:scala-2.11.7.tgz.

接下来就是解压到指定的文件中,然后在etc/profile配置环境变量即可。安装成功后输入命令scala会出现以下情形,如下图:


4.Spark安装

首先下载,Scala可以去官网进行下载,官方网址(http://spark.apache.org/我下载的是:spark-1.5.1-bin-hadoop2.6.tgz接下来就是解压到指定的文件中,最后就是配置文件。这里面主要介绍两个文件,一个是conf/spark-env.sh,另一个是conf/slaves,这两个文件初始都没有,可以进行如下操作生成:

cp spark-env.sh.template  spark-env.sh
cp slaves.template slaves

编辑conf/spark-env.sh文件,加入下面的配置参数

export SCALA_HOME=/usr/local/scala-2.11.7
export SPARK_HOME=/usr/jiangfeng/spark-1.5.1-bin-hadoop2.6
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export SPARK_MASTER_IP=Master
export SPARK_WORK_MEMORY=1000m

这些都配置的都是基本的参数,其他复杂的参数请见官网的配置。

编辑conf/slaves文件,我搭建的集群只有一个节点,将节点的主机名加入

Slave1
到这里面就已经ok了。

启动集群主、从节点显示如下表示成功。

主节点(Master)正常状态


从节点(Slave1)正常状态



到这就一切搞定了。


版权声明:本文为博主原创文章,可以转载,但请注明出处,谢谢。

spark集群安装与配置

本文介绍的是Spark on Yarn的安装与配置,在安装Spark之前需要安装Hadoop2.0以及以上版本,本例是在Hadoop2.2.0平台搭建,集群中有两个节点。...
  • u013468917
  • u013468917
  • 2016年03月25日 14:16
  • 1943

Spark集群安装笔记

# HADOOP VARIABLES START export JAVA_HOME=/usr/java export JRE_HOME=$JAVA_HOME/jre export SCALA_HOME...
  • china_demon
  • china_demon
  • 2016年07月26日 03:56
  • 473

Spark<集群搭建Centos7.3+Spark2.1.1>

本集群搭建依赖于:VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0....
  • Gpwner
  • Gpwner
  • 2017年06月11日 21:24
  • 574

安装spark集群

spark hadoop 无密码登录
  • lwei3600103
  • lwei3600103
  • 2015年12月20日 15:05
  • 386

spark集群安装和基本使用

spark官网下载地址:http://spark.apache.org/downloads.html 我下载的是1.6.3兼容hadoop2.4的版本spark-1.6.3-...
  • baidu_19473529
  • baidu_19473529
  • 2017年02月03日 16:59
  • 682

spark集群安装

这里是结合hadoop2.0使用的1,download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载2...
  • liuzhoulong
  • liuzhoulong
  • 2014年02月10日 19:00
  • 2869

Spark集群安装

折腾了几天,终于把Spark 集群安装成功了,其实比hadoop要简单很多,由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本,走了不少弯路。 1. 安装 JDK 1.7 yum searc...
  • suixinsuoyuwjm
  • suixinsuoyuwjm
  • 2013年11月18日 10:41
  • 1032

spark 集群搭建 详细步骤

最近好不容易搞到了三台测试机,可以用来搭建spark集群搞模型。本宝宝开心得不行,赶紧行动,把spark集群搭起来,模型跑起来。1.搭建hadoop集群hadoop的hdfs文件系统是整个生态圈的基础...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年07月20日 13:05
  • 12360

CentOS7安装spark集群

1. 关闭防火墙 systemctl stop firewalld systemctl stop firewalld 如果不关闭防火墙,需要为防火墙添加进站出站规则,否则无法访问spark的管理页面 ...
  • u011365831
  • u011365831
  • 2017年09月29日 12:45
  • 287

一步一步详细搭建Spark集群在docker上

看了好多文章,都不是特别详细,现在通过综合所有的文章一起写个自己配置的过程。一、先配置一个dockerdocker pull daocloud.io/daocloud/tensorflow:night...
  • cq361106306
  • cq361106306
  • 2017年01月08日 22:11
  • 1830
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark集群安装
举报原因:
原因补充:

(最多只允许输入30个字)