spark程序开发在生成环境中测试一直是个麻烦的问题,本地测试因为数据量少,环境不同,也只能测出程序逻辑方面的问题,每次在Jar包丢到线上测试,然后修改在测试总是占用着很长的时间,那么spark能否在本地远程的进行集群的运行测试呢,答案显然是可以的。
废话不多说,来看看怎么使用这个方法:(spark1.x)
1.开发工具中导入spark项目
2.设置远程Master:sparkContext.set(Url) 这个Url一定是Master的hostName
3.下载 hadoop-common-2.2.0-bin-master.jar 解压到开发环境 配置HADOOP_HOME只想这个文件夹
4.在本机host文件中 加入master的ip 对应master的hostName
5.运行spark程序可以看到程序已经在生成环境中运行了,值得注意的是这是standalone模式
实际上在之前的开发中我也是使用丢Jar到集群中运行的方式进行测试,在spark2.0出来以后,这个setMaster的方法不需要配置上述的任何步骤就可以运行,在体验了spark2.0的setMaster方法后就再也不想回到这种丢jar测试的时代….