在IDEA中调试运行Spark SQL

本文记录了在IDEA中调试Spark SQL遇到的四个问题及解决方案:1) IDE错误编译Spark源码;2) 如何提供hive-site.xml配置;3) 添加连接Mysql的jar包到classpath;4) 设置合适的JVM参数。通过解决这些问题,成功在IDEA中运行和调试Spark SQL。
摘要由CSDN通过智能技术生成

昨晚想通过调试的方式阅读一下Spark SQL的源码, 用spark-sql命令行需要跨进程调试,太麻烦,于是尝试了一下在IDEA中运行和调试.

结果不出所料,虽然最终可以在IDEA中成功运行了,不过中间还是遇到了不少问题,在这篇文章中总结一下.

应用程序比较简单: 

case class Person(name: String, value: String)

object SparkSQLTest {

  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.set("spark.master", "local")
    conf.setAppName("JavaWordCount");


    val sc = new SparkContext(conf)

    val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)


    import sqlContext.implicits._

    sqlContext.sql("select * from ewaplog where value in ('yes', null)").collect().foreach(println)
  }

}


点击Run -> Run SparkSQLTest; IDEA开始用maven方式编译了一会......出错了!

1 出现第一个问题:

 Error:(146, 9) value q is not a member of StringContext

 Note: implicit class Evaluate2 is not applicable here because it comes after the application point and it lacks an explicit result type
        q"""
        ^

编译报出上述错误.   

我使用的是spark-1.4.1, scala_2.10; q"""这种语法, 是2.11才正式支持的,2.10如果也想支持,就需要一些特殊的组件安装和处理.
  
但是这都不是问题的本质, 本质是: 虽然我的IDEA空间里有spark的源码project, 我编译的是应用程序,为什么IDEA连着把spark-1.4.1的源码都编译了?
  Eclipse中是可以很轻松地禁止编译所依赖的项

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值