Scala-IDE Eclipse（Windows)中开发Spark应用程序，在Ubuntu Spark集群上运行

在进行实际的Spark应用程序开发时，常常会利用Window环境进行程序开发，开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行，本教程教将一步一步地教大家如何进行该操作。本教程主要内容如下：

• Window开发环境说明
• Spark集群运行环境说明
• Scala IDE For Eclipse中Spark程序开发
• 利用spark-submit脚本提交到Spark集群当中运行

---

Windows开发环境说明

(1)Scala-IDE eclipse ，版本号见下图

(2) JAVA版本号 JDK 1.7

(3) Scala 版本号 2.10.4

Spark集群运行环境说明

(1)操作系统：Ubuntu 10.04

(2) Java与Scala版本号与Windows上一致

(3) Hadoop 版本 hadoop 2.2.0

(4) Spark 版本 Spark 1.1.0

配置如下：

IP地址	主机名	运行进程
192.168.1.104	cluster04	QuorumPeerMain(ZooKeeper进程） Master（Spark Master进程