idea调试远程spark服务器（2017.04图文，非转载）

Spark 1.6

hadoop2.6

jdk1.8

scala 2.10

C:\Windows\System32\drivers\etc 中修改hosts   

172.16.11.221  mach40

172.16.11.222  mach41

172.16.11.223  mach42

1）首先在个人WIN7本上搭好java，scala环境，并配置好环境变量，安装好Intelij IDEA，并安装好scala插件。

     (这一步不用详细说了，百度N多篇)

2）新建Scala项目

3）设置配套基础（moundle,   jdk,   libralrys等等  不会的请百度，不想细说 ）

要点来了：

4）创建工程，写代码：

顺序依次：

创建新的scala，选择object类型，这是代码（和网上差不多）：

import org.apache.spark.{SparkConf,SparkContext}
object RemoteDebug{
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://172.16.11.222:7077")
      .setJars(List("D:\\IdeaJar\\SparkPi_jar_Path\\Oldspark.jar"))
    val spark = new SparkContext(conf)
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = 100000 * slices
    val count = spark.parallelize(1 to n, slices).map { i =>
      val x = Math.random * 2 - 1
      val y = Math.random * 2 - 1
      if (x * x + y * y < 1) 1 else 0
    }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}

这是目录结构

 

5）写代码之后，先进行一个jar包打包设置

6) 这里的路径一定要设置好，为jar包的输出路径，一会要写到程序里，使得spark集群的查找

【1】Directory-META-INF 和下一个OUT  Directory不一样

OUT  Directory是我们要设置的jar包保存路径  我的是代码中的这个

 .setJars(List("D:\\IdeaJar\\SparkPi_jar_Path\\Oldspark.jar"))

【2】由于是打包程序本身所以在配置OUT layout时候，我只保留了complie output 

【3】include in project build 可选可不选 ，不选的话返回到程序界面，build打包就成（看百度）

6）创建工程，选择main

7）运行即可

8）效果：

10）看看UI上把

 

O了，简单讲解完毕  有误之处欢迎指出