idea创建maven工程的spark项目

idea工具可以创建maven工程的spark项目，今天就试着做了一下，然后写了一个基于集合创建RDD的小的demo，并且遇到了不少的坑，在这里总结一下。

创建maven工程的spark项目

这个项目是基于scala语言进行开发的
下面是截图步骤

基于集合创建RDD

object RddBasedOnCollections {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf();
    conf.setMaster("local")
    conf.setAppName("RddBasedOnCollections")

    val sc = new SparkContext(conf)
    val numbers = 1 to 100
    val rdd = sc.parallelize(numbers) // 创建rdd
    val sum = rdd.reduce(_+_) //1-100求和
    println("1+2+3+...+99+100 = " + sum)
  }
}

运行查看结果

遇到的问题

问题一

Error:scalac: bad symbolic reference. A signature in package.class refers to type compileTimeOnly
in package scala.annotation which is not available.

这个问题很明显是版本冲突的问题，编译运行时候出现了报错。

解决方案:

引入的org.scala-lang版本是本机中的版本2.10.4

    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>

问题二

Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef . <script type="math/tex" id="MathJax-Element-3">.</script>conforms()Lscala/Predef$$less$colon$less;

解决方案

引入的spark-core_*要与scala版本相一致。即spark-core_2.10

 <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>${spark.version}</version>
    </dependency>

问题三

java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the –driver-memory option or spark.driver.memory in Spark configuration.
虚拟机内存分配太小

解决方案

在vmoption中设置-Xmx512M就足够了