Spark集群安装

原创 2015年11月19日 19:18:37

Spark在生产环境中,主要部署在安装有linux系统的集群中。在linux系统中安装Spark需要预先安装JDK、Scala等所需要的依赖。由于Spark是计算框架,所以需要预先在集群内搭建好存储在数据的持久层,Spark主要使用HDFS充当持久层,所以本教程安装Spark集群前需要安装Hadoop集群。

1.Hadoop集群搭建(参考这里

2.JDK安装(参考这里

3.Scala安装

首先下载,Scala可以去官网进行下载,官方网址(http://www.scala-lang.org/我下载的是:scala-2.11.7.tgz.

接下来就是解压到指定的文件中,然后在etc/profile配置环境变量即可。安装成功后输入命令scala会出现以下情形,如下图:


4.Spark安装

首先下载,Scala可以去官网进行下载,官方网址(http://spark.apache.org/我下载的是:spark-1.5.1-bin-hadoop2.6.tgz接下来就是解压到指定的文件中,最后就是配置文件。这里面主要介绍两个文件,一个是conf/spark-env.sh,另一个是conf/slaves,这两个文件初始都没有,可以进行如下操作生成:

cp spark-env.sh.template  spark-env.sh
cp slaves.template slaves

编辑conf/spark-env.sh文件,加入下面的配置参数

export SCALA_HOME=/usr/local/scala-2.11.7
export SPARK_HOME=/usr/jiangfeng/spark-1.5.1-bin-hadoop2.6
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export SPARK_MASTER_IP=Master
export SPARK_WORK_MEMORY=1000m

这些都配置的都是基本的参数,其他复杂的参数请见官网的配置。

编辑conf/slaves文件,我搭建的集群只有一个节点,将节点的主机名加入

Slave1
到这里面就已经ok了。

启动集群主、从节点显示如下表示成功。

主节点(Master)正常状态


从节点(Slave1)正常状态



到这就一切搞定了。


版权声明:本文为博主原创文章,可以转载,但请注明出处,谢谢。

hadoop和spark集群安装(centos)

  • 2016年03月04日 09:40
  • 35KB
  • 下载

Hadoop Spark 集群简便安装总结

Hadoop 安装简单说就是:ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。 本文还提供涉及到的文件下载...

spark集群安装与配置

本文介绍的是Spark on Yarn的安装与配置,在安装Spark之前需要安装Hadoop2.0以及以上版本,本例是在Hadoop2.2.0平台搭建,集群中有两个节点。...

ganglia的安装部署对spark集群监控

1.ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,可以对分布式集群的所有计算资源进行监控。 ganglia由三个组件构成 gmond :(client)是...

使用docker安装部署Spark集群来训练CNN(含Python实例)

实验室有4台服务器(8个GPU/台),平日都只使用了其中的一个GPU,实在暴遣天物!于是决定使用docker安装部署Spark集群,将这些GPU都利用起来训练CNN。本文是博主含泪写出的踩坑总结,希望...
  • cyh24
  • cyh24
  • 2015年11月06日 15:03
  • 13833

Spark2.0.1 on yarn with hue 集群安装部署(六)hue+hive+sparksql

hue+hive+sparksql hue bug,spark bug hive metastore spark默认访问derby数据库
  • dockj
  • dockj
  • 2016年11月28日 22:55
  • 1364

docker for mac 安装spark 2.2.0 + hadoop 2.8.0 集群

1、简述本文在mac上,使用docker搭建spark 2.2 + hadoop 2.8.1集群,实现spark on yarn的任务提交。 2、docker安装下载docker for mac 17...

在集群上安装spark

1.从http://spark.apache.org/ 下载spark 1.2.解压到当前目录,进入spark 1.2. 2.编译命令,和hadoop2.0.5兼容。 export MAVEN_OPT...

CentOS 6.5离线安装cloudera manager hadoop spark集群

centos 离线安装 cloudera manager Hadoop spark集群
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark集群安装
举报原因:
原因补充:

(最多只允许输入30个字)