在IDEA中调试运行Spark SQL

昨晚想通过调试的方式阅读一下Spark SQL的源码， 用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试.

结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题，在这篇文章中总结一下.

应用程序比较简单: 

case class Person(name: String, value: String)

object SparkSQLTest {

  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.set("spark.master", "local")
    conf.setAppName("JavaWordCount");


    val sc = new SparkContext(conf)

    val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)


    import sqlContext.implicits._

    sqlContext.sql("select * from ewaplog where value in ('yes', null)").collect().foreach(println)
  }

}

点击Run -> Run SparkSQLTest; IDEA开始用maven方式编译了一会......出错了！

1 出现第一个问题:

 Error:(146, 9) value q is not a member of StringContext

 Note: implicit class Evaluate2 is not applicable here because it comes after the application point and it lacks an explicit result type
        q"""
        ^

编译报出上述错误.   

我使用的是spark-1.4.1, scala_2.10; q"""这种语法, 是2.11才正式支持的，2.10如果也想支持，就需要一些特殊的组件安装和处理.
  
但是这都不是问题的本质, 本质是: 虽然我的IDEA空间里有spark的源码project, 我编译的是应用程序，为什么IDEA连着把spark-1.4.1的源码都编译了?
  Eclipse中是可以很轻松地禁止编译所依赖的项