上文搭建了spark平台,本文通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包。相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。
1、安装sbt
2、Scala应用程序代码
Spark独立应用程序编程
最新推荐文章于 2022-06-13 15:26:35 发布
上文搭建了spark平台,本文通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包。相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。
1、安装sbt
2、Scala应用程序代码