在spark开发环境中使用Standalone模式调试集群运行

spark程序开发在生成环境中测试一直是个麻烦的问题，本地测试因为数据量少，环境不同，也只能测出程序逻辑方面的问题，每次在Jar包丢到线上测试，然后修改在测试总是占用着很长的时间，那么spark能否在本地远程的进行集群的运行测试呢，答案显然是可以的。
废话不多说，来看看怎么使用这个方法:（spark1.x）

    1.开发工具中导入spark项目
    2.设置远程Master：sparkContext.set(Url)  这个Url一定是Master的hostName
    3.下载 hadoop-common-2.2.0-bin-master.jar  解压到开发环境  配置HADOOP_HOME只想这个文件夹
    4.在本机host文件中 加入master的ip 对应master的hostName
    5.运行spark程序可以看到程序已经在生成环境中运行了，值得注意的是这是standalone模式

实际上在之前的开发中我也是使用丢Jar到集群中运行的方式进行测试，在spark2.0出来以后，这个setMaster的方法不需要配置上述的任何步骤就可以运行，在体验了spark2.0的setMaster方法后就再也不想回到这种丢jar测试的时代….