Eclipse上Spark开发环境搭建

1     安装插件

    http://scala-ide.org/download/current.html

2     配置

2.1    配置Hadoop环境变量

    HADOOP_HOME：%HADOOP_HOME%\bin中需包含winutils.exe文件。

    Path：添加%HADOOP_HOME%\bin，注意分号。

    winutils.exe下载地址：

    http://download.csdn.net/detail/yh880610/9567278

2.2    配置Spark环境变量

    SPARK_HOME：如：E:\SparkInstallForEclipse\spark-1.6.2-bin-without-hadoop。

    Path：添加%SPARK_HOME%\bin，注意分号。

3     新建项目

3.1    根据向导新建Scala项目

3.2    导入Spark开发包

    在Spark下载包里找到合适的spark-assembly-xxx-hadoop-xxx.jar，导入到新建的项目的classpath中。

3.3    示例代码

package test

 

importorg.apache.spark.SparkConf

importorg.apache.spark.SparkContext

importscala.math.random

 

objectHelloSpark {

 

  def main(args: Array[String]): Unit = {

      System.setProperty("hadoop.home.dir", "E:\\hadoopInstallForEclipse\\hadoop-2.7.2");

 

      val conf = new SparkConf().setMaster("local").setAppName("My App");

      val sc = new SparkContext(conf);

 

      val inputfiles: String = "E:\\SparkInstallForEclipse\\spark-1.6.2-bin-without-hadoop\\readme.md";

 

      //创建PairRDD

      val lines = sc.textFile(inputfiles); //读取外部数据创建一个RDD

      val pair = lines.map(x => (x.split(" ")(0), x));

      println("CreatePairRDD example,OutputPairRDD:" + pair.take(2)(0) + "second " + pair.take(2)(1) + pair.take(3)(2));

 

      //pairRDD trnasformation

      val pairRDD1 = sc.parallelize(List((1, 2), (3, 4), (3, 6)));

      println("pairRDD1 num:" + pairRDD1.count());

      val pairRDD2 = pairRDD1.reduceByKey((x, y) => x + y);

      println("pairRDD2 num:" + pairRDD2.count());

      pairRDD2.collectAsMap().map(println(_));

      val pairRDD3 = pairRDD1.groupByKey();

      println("pairRDD3 num:" + pairRDD3.count());

 

      //聚合操作

      val result = pairRDD1.combineByKey(

          (v) => (v, 1),

          (acc: (Int, Int), v) => (acc._1 + v, acc._2 + 1),

          (acc1: (Int, Int), acc2: (Int, Int))=> (acc1._1 + acc2._1, acc1._2 + acc2._2)).map {

              case (key, value) => (key, value._1 / value._2.toFloat)

          }

 

      result.collectAsMap().map(println(_));

 

  }

}

              直接右击->Run as ScalaApplication，即可在本地运行调试。

3.4    部署到集群上运行

    修改示例代码：

1、注释掉System.setProperty("hadoop.home.dir","xxx");

2、修改inputfiles变量，指向linux上文件路径：/soft/readme.md。

    将开发的代码打成jar包（如hello-spark.jar）传至集群上指定路径，如$SPARK_HOME路径下。

    在$SPARK_HOME路径下执行一下命令进行运行jar程序：

    ./bin/spark-submit --class test.HelloSpark  hello-spark.jar

4     常见错误

4.1    JVM内存溢出

    java.lang.IllegalArgumentException: Systemmemory 259522560 must be at least 4.718592E8. Please use a larger heap size.

    解决：

    Window—Preference—Java—InstalledJREs—选中一个Jre 后，Edit在Default VM arguments 里加入：-Xmx512M