spark-shell客户机设置

标签: spark
2170人阅读 评论(0) 收藏 举报
分类:

本文介绍spark集群客户机的设置

安装程序

spark集群是standalone集群

在root帐号下,从spark集群的master上复制spark1.5.2的安装包到目录下,这样配置文件就已经复制过来,其实主要是zookeeper的配置。

owner为root,group和other用户都是可以读和运行

drwxr-xr-x  14 root  root  4.0K Nov 16 11:48 spark-1.5.2-bin-hadoop2.6
里面的metoastore.db的写权限需要放开

drwxrwxrwx  5 root root  126 Nov 16 14:15 metastore_db


配置环境变量


现在可以在这台机器上建立帐号,比如dean帐号。然后设置全局的环境变量,在/etc/profile中添加

export JAVA_HOME=/letv/java
export MASTER=spark://10-149-*-*:7077,10-149-*-*:7077,10-149-*-*:7077
export PATH=/letv/spark-1.5.2-bin-hadoop2.6/bin:$PATH
export PATH=$JAVA_HOME/bin:$PATH
特别是MASTER环境变量,能够让用户不需要每次输入--master参数

用dean登录后,运行spark-shell,然后到spark master的UI站点看看

ID: app-20151119144454-0036
Name: Spark shell
User: dean
Cores: Unlimited (168 granted)
Executor Memory: 1024.0 MB
Submit Date: Thu Nov 19 14:44:54 CST 2015
State: RUNNING
Application Detail UI

而集群总资源是

Alive Workers: 7
Cores in use: 168 Total, 168 Used
Memory in use: 874.5 GB Total, 7.0 GB Used
Applications: 1 Running, 36 Completed
Drivers: 0 Running, 0 Completed
Status: ALIVE

可以看到cpu核都被占据了,内存只用了1GB


资源管理

spark-shell提供几个资源控制的参数,下面是一个例子:

spark-shell --executor-memory 4G --total-executor-cores 10 --executor-cores 1
--executor-memory 默认1GB 是每个executor占用的内存

--total-executor-cores 所有executor总共使用的cpu核数

--executor-cores 每个executor使用的cpu核数

这样就限制了总cpu核数为10, executor数目为10

仍然想通过环境变量来简化启动命令,可惜不支持,必须传参数。要想想别的招。

改写脚本,就是$@的至修改为资源控制的参数,如下面修改spark-shell.sh

  else
    export SPARK_SUBMIT_OPTS
    RESOURCE_OPTIONS="--executor-memory 1G --total-executor-cores 10 --executor-cores 1 "
    CMD_OPTIONS=$RESOURCE_OPTIONS$@
    echo "CMD_OPTIONS: " $CMD_OPTIONS
    "$FWDIR"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" $CMD_OPTIONS
  fi

增加了两个变量

RESOURCE_OPTIONS和CMD_OPTIONS,为了让用户看到发生了什么,用echo将参数打印出来,

比如启动spark-shell的时候:

$ spark-shell
CMD_OPTIONS:  --executor-memory 1G --total-executor-cores 10 --executor-cores 1

那么如果需要针对不同的用户设置不同的资源权限呢,把脚本写的复杂点就可以了。这个不再多说。

:)





1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:5157416次
    • 积分:63924
    • 等级:
    • 排名:第29名
    • 原创:1203篇
    • 转载:22篇
    • 译文:1篇
    • 评论:1140条
    文章分类
    最新评论
    算法专家朋友的博客
    清如许的博客