spark配置:spark集群

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/mijian1207mijian/article/details/53797853

http://www.cnblogs.com/onetwo/p/5424377.html


1. 软件版本

scala-2.11.8.tgz

spark-1.6.1-bin-hadoop2.6.tgz

2. scala安装

2.1 0master机器安装

  • 下载 scala-2.11.8.tgz, 解压到 /usr/scala 目录下,即: /usr/scala/scala-2.11.8。
  • 解压:tar -zxvf scala-2.11.8
  • 权限
sudo chown -R hadoopmi:hadoopmi scala-2.11.8
  • 环境变量

/etc/profile

#scala env
export SCALA_HOME=/usr/scala/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

  • scala的shell环境
scala

* 安装slave


2. 安装spark

2.1 0master机器

  • 下载 spark-1.6.1-bin-hadoop2.6.tgz,解压到 //spark 目录下。

  • 修改 spark-1.6.1-bin-hadoop2.6 目录所属用户和用户组。

sudo chown -R hadoop:hadoop spark-1.6.1-bin-hadoop2.6
  • 环境变量:/etc/profile
# Spark Env
export SPARK_HOME=/home/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
  • source /etc/profile

* spark配置

  • 进入 Spark 安装目录下的 conf 目录, 拷贝 spark-env.sh.template 到 spark-env.sh。
cp spark-env.sh.template spark-env.sh
  • 编辑 spark-env.sh,在其中添加以下配置信息:
export SCALA_HOME=/usr/scala/scala-2.11.8
export JAVA_HOME=/usr/java/jdk1.7.0_79
export SPARK_MASTER_IP=192.168.1.101
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.4/etc/hadoop
  • slaves.template 拷贝到 slaves, 编辑其内容为:
0slave1
0slave2
0slave3

* slave机器

* 和0master相同


3. 启动spark集群

* 启动yarn

  • 启动 Master 节点
    运行 start-master.sh

  • 启动所有 Worker 节点
    运行 start-slaves.sh

  • 浏览器查看 Spark 集群信息
    http://master:8080

  • spark-shell

  • 浏览器访问 SparkUI
    访问 http://master:4040


4. 停止集群

  • 停止 Master 节点
    运行 stop-master.sh 来停止 Master 节点。

  • 停止 Worker 节点
    运行 stop-slaves.sh 可以停止所有的 Worker 节点


* bug: no … to stop

http://www.cnblogs.com/quchunhui/p/5413807.html

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页