windows下spark开发环境搭建

本文重点介绍在Windows下开发spark应用程序的依赖环境的搭建，其次也会针对supermap iobjects for spark产品的入门程序开发介绍。在实际配置当中遇到报错可以在评论区交流。

一、环境

Windows 10 64位系统
jdk-8u151-windows-x64.tar.gz [官网下载jdk1.8，安装并配置JAVA_HOME和path环境变量]
iobjectsjava9.0.1-win64-Bin.rar [解压，将其bin目录添加到path环境变量]
spark9.0.1.rar [解压]
spark-2.1.1-bin-hadoop2.7.rar，hadoop-2.7.3.rar，ideaIU-2017.3.3.exe
二、配置

解压spark-2.1.1-bin-hadoop2.7产品
     创建SPARK_HOME环境变量并赋值，例如D:\ProgramFiles\Spark_Dev\spark-2.1.1-bin-hadoop2.7
     创建SPARK_CLASSPATH环境变量并赋值，例如D:\ProgramFiles\Spark_Dev\spark-2.1.1-bin-hadoop2.7\jars
     将spark-2.1.1-bin-hadoop2.7产品的bin目录添加到path环境变量
解压hadoop-2.7.3产品
     创建HADOOP_HOME环境变量并赋值，例如D:\ProgramFiles\Spark_Dev\hadoop-2.7.3
     将hadoop-2.7.3产品的bin目录添加到path环境变量
     配置hadoop-env.cmd文件，指定jdk路径，如截图一
     配置hdfs-site.xml文件的节点，在hadoop目录下，新建data文件夹，以及创建namenode和datanode子文件夹，配置节点，如下截图二
 

安装idealIU开发工具，在插件管理plugins里安装scala插件
三、启动spark和hadoop

启动spark，打开cmd，进入spark的bin目录，执行
     spark-shell.cmd
1
启动hadoop，打开cmd，进入hadoop的sbin目录，执行
     start-all.cmd
1
检测启动情况，是否能打开管理页面http://localhost:4040/jobs/和http://localhost:8088/cluster/cluster，或者打开cmd，执行jps命令查看是否有如下节点，如截图三 

四、supermap iobjects for spark入门程序

新建project，选择scala项目，选择sbt构建方式，选择scala2.11.8版本(如果没有，可在project settings里点击”+”，选择scala sdk，可在线下载2.11.8版本)，保持与spark内部使用的scala版本一致，如截图四 

F12打开open library setting配置界面，在libraries节点处，添加spark的jars，以及iobjects for spark的jar包，应用即可。
创建一个scala单例文件进行编码，本示例代码读取postgresql下的数据集。如截图五
import com.supermap.bdt.base.Util
import com.supermap.bdt.io.sdx.{DSConnectionInfo, DatasourceType, SDXReader}
import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}

object StartDemo {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("StartDemo").setMaster("local[*]")
    val sc = new SparkContext(conf)
    Util.configure(conf)
    val info = DSConnectionInfo(DatasourceType.PostgreSQL, "127.0.0.1:5432", "mapdata", "postgresql", Some("maptest"), Some("supermap"))
    val featureRDD = SDXReader.readFromDS(sc, info, "province", 360)
    println("对象数:" + featureRDD.count())
  }
}

五、spark批处理模式运行程序

artifacts方式打包jar，设置主函数文件以及签名文件，然后应用即可，如截图六七。注:本例默认将第三方包也打入jar，如不需要，请参考artifacts的使用。 
 

build已配置的jar，工具栏”Build”-“Build Artifact”-“Build”，即可在上一步里配置的output dictionary目录下生成对应的jar包。
cmd里提交spark程序，该jar包也可以在Linux环境下使用
    spark-submit.cmd --master local[4] --class StartDemo E:\\iObjectsSparkWorkspace\\SMSparkStart\\out\\artifacts\\smsparkstart_jar\\smsparkstart.jar

如果提交时报错”invalid signature file digest for manifest main attributes”签名无效，这是因为sbt或maven构建的工程在打包时都有这个常见错误，Windows下用压缩工具打开jar，删除meta-inf文件夹下的* .SF,* .DSA,* .RSA文件即可，Linux下采用命令删除即可。

    zip -d smsparkstart.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF
注：本博文提供的spark包和hadoop包已经做了适配于Windows开发的相关文件修改。