windows下spark开发环境搭建

版权声明:本文为博主原创文章,欢迎转载,SuperMap技术问答社区 http://ask.supermap.com https://blog.csdn.net/supermapsupport/article/details/79869063

本文重点介绍在Windows下开发spark应用程序的依赖环境的搭建,其次也会针对supermap iobjects for spark产品的入门程序开发介绍。在实际配置当中遇到报错可以在评论区交流。

一、环境

  1. Windows 10 64位系统
  2. jdk-8u151-windows-x64.tar.gz [官网下载jdk1.8,安装并配置JAVA_HOME和path环境变量]
  3. iobjectsjava9.0.1-win64-Bin.rar [解压,将其bin目录添加到path环境变量]
  4. spark9.0.1.rar [解压]
  5. spark-2.1.1-bin-hadoop2.7.rarhadoop-2.7.3.rarideaIU-2017.3.3.exe

二、配置

  • 解压spark-2.1.1-bin-hadoop2.7产品
     创建SPARK_HOME环境变量并赋值,例如D:\ProgramFiles\Spark_Dev\spark-2.1.1-bin-hadoop2.7
     创建SPARK_CLASSPATH环境变量并赋值,例如D:\ProgramFiles\Spark_Dev\spark-2.1.1-bin-hadoop2.7\jars
     将spark-2.1.1-bin-hadoop2.7产品的bin目录添加到path环境变量
  • 解压hadoop-2.7.3产品
     创建HADOOP_HOME环境变量并赋值,例如D:\ProgramFiles\Spark_Dev\hadoop-2.7.3
     将hadoop-2.7.3产品的bin目录添加到path环境变量
     配置hadoop-env.cmd文件,指定jdk路径,如截图一
     配置hdfs-site.xml文件的节点,在hadoop目录下,新建data文件夹,以及创建namenode和datanode子文件夹,配置节点,如下截图二

图片一
图片二

  • 安装idealIU开发工具,在插件管理plugins里安装scala插件

三、启动spark和hadoop

  • 启动spark,打开cmd,进入spark的bin目录,执行
     spark-shell.cmd
  • 启动hadoop,打开cmd,进入hadoop的sbin目录,执行
     start-all.cmd

四、supermap iobjects for spark入门程序

  • 新建project,选择scala项目,选择sbt构建方式,选择scala2.11.8版本(如果没有,可在project settings里点击”+”,选择scala sdk,可在线下载2.11.8版本),保持与spark内部使用的scala版本一致,如截图四
    图片四
  • F12打开open library setting配置界面,在libraries节点处,添加spark的jars,以及iobjects for spark的jar包,应用即可。
  • 创建一个scala单例文件进行编码,本示例代码读取postgresql下的数据集。如截图五
import com.supermap.bdt.base.Util
import com.supermap.bdt.io.sdx.{DSConnectionInfo, DatasourceType, SDXReader}
import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}

object StartDemo {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("StartDemo").setMaster("local[*]")
    val sc = new SparkContext(conf)
    Util.configure(conf)
    val info = DSConnectionInfo(DatasourceType.PostgreSQL, "127.0.0.1:5432", "mapdata", "postgresql", Some("maptest"), Some("supermap"))
    val featureRDD = SDXReader.readFromDS(sc, info, "province", 360)
    println("对象数:" + featureRDD.count())
  }
}

图片五
五、spark批处理模式运行程序

  • artifacts方式打包jar,设置主函数文件以及签名文件,然后应用即可,如截图六七。注:本例默认将第三方包也打入jar,如不需要,请参考artifacts的使用。
    截图六
    截图七
  • build已配置的jar,工具栏”Build”-“Build Artifact”-“Build”,即可在上一步里配置的output dictionary目录下生成对应的jar包。
  • cmd里提交spark程序,该jar包也可以在Linux环境下使用
    spark-submit.cmd --master local[4] --class StartDemo E:\\iObjectsSparkWorkspace\\SMSparkStart\\out\\artifacts\\smsparkstart_jar\\smsparkstart.jar

结果
如果提交时报错”invalid signature file digest for manifest main attributes”签名无效,这是因为sbt或maven构建的工程在打包时都有这个常见错误,Windows下用压缩工具打开jar,删除meta-inf文件夹下的* .SF,* .DSA,* .RSA文件即可,Linux下采用命令删除即可。

    zip -d smsparkstart.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF

注:本博文提供的spark包和hadoop包已经做了适配于Windows开发的相关文件修改。

阅读更多

扫码向博主提问

SuperMap技术控

非学,无以致疑;非问,无以广识
去开通我的Chat快问

没有更多推荐了,返回首页