sparkR集群启动脚本的封装

[Author]: kwu

sparkR默认是以单机方式运行的。实现sparkR的集群启动,需要指定master地址,占用内存、CPU,及UI端口等,这对分析人员来说是比较麻烦的。

如何实现对其启动的封装,方便分析人员来使用:

创建启动的脚本文件 

 vi bdcmagicR


输入以下内容
#!/bin/bash  
function rand(){  
    min=$1  
    max=$(($2-$min+1))  
    num=$(($RANDOM+1000000000)) #增加一个10位的数再求余  
    echo $(($num%$max+$min))  
}  
  
rnd=$(rand 40000 50000)  
echo $rnd  

/opt/modules/spark/bin/sparkR --master spark://10.130.2.20:7077 --executor-memory 8g --total-executor-cores 45 --conf spark.ui.port=$rnd
 


说明:

1)首先使用一个随机函数生成一个40000到50000之间随机数,用来做UI的端口。

2)然后指定指定master地址,占用内存、CPU。

3)最后把bdcmagicR 加入环境变量即可。

使用时,在终端输入 bdcmagicR


即可以集群方式启动运行sparkR


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值