在IDEA中调试运行Spark SQL

最新推荐文章于 2023-02-24 17:32:26 发布

美伊小公主的奶爸

最新推荐文章于 2023-02-24 17:32:26 发布

阅读量7.4k

点赞数

分类专栏： SQL spark 文章标签： spark hadoop sql idea

本文链接：https://blog.csdn.net/cymvp/article/details/52117375

版权

本文记录了在IDEA中调试Spark SQL遇到的四个问题及解决方案：1) IDE错误编译Spark源码；2) 如何提供hive-site.xml配置；3) 添加连接Mysql的jar包到classpath；4) 设置合适的JVM参数。通过解决这些问题，成功在IDEA中运行和调试Spark SQL。

摘要由CSDN通过智能技术生成

昨晚想通过调试的方式阅读一下Spark SQL的源码，用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试.

结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题，在这篇文章中总结一下.

应用程序比较简单:

case class Person(name: String, value: String)

object SparkSQLTest {

  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.set("spark.master", "local")
    conf.setAppName("JavaWordCount");


    val sc = new SparkContext(conf)

    val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)


    import sqlContext.implicits._

    sqlContext.sql("select * from ewaplog where value in ('yes', null)").collect().foreach(println)
  }

}

点击Run -> Run SparkSQLTest; IDEA开始用maven方式编译了一会......出错了！

1 出现第一个问题:

Error:(146, 9) value q is not a member of StringContext

Note: implicit class Evaluate2 is not applicable here because it comes after the application point and it lacks an explicit result type
q"""
^

编译报出上述错误.

我使用的是spark-1.4.1, scala_2.10; q"""这种语法, 是2.11才正式支持的，2.10如果也想支持，就需要一些特殊的组件安装和处理.

但是这都不是问题的本质, 本质是: 虽然我的IDEA空间里有spark的源码project, 我编译的是应用程序，为什么IDEA连着把spark-1.4.1的源码都编译了?
Eclipse中是可以很轻松地禁止编译所依赖的项