【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

从控制台可以看到我们的程序成功在集群上运行:

 

Detail for stage 1:

Detail for Stage 0:

查看一下Executors的信息:

上述信息表明程序成功在Spark集群上运行。

 

第四步:基于IDEA构建Spark开发环境

1,下载IDEA13.1.4社区版本“Community Edition FREE”

http://www.jetbrains.com/idea/download/ 

2,安装IDEA并配置IDEA系统环境变量

具体安装和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627 

 

3,使用IDEA开发Spark程序,我们这里使用SparkPi来验证开发环境

具体开发和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627

 

4,通过IDEA在集群上运行程序,此时需要加入

“conf.setMaster(“spark://192.168.35.129:7077”)” 

运行之即可。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值