Spark SQL操作hive报错处理

Spark SQL操作hive报错处理

总结：

1：启动hive的metastore服务
2：报错后加入依赖包spark-hive_2.12
3：创建SparkSession加入.enableHiveSupport()

背景

通过spark SQL访问hive上的表数据。

准备工作

将hive-site.xml文件，放入IDEA程序的resource目录下

主程序

object SparkSqlEvents {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("sparkSqlEvent")
    val session = SparkSessionSingleton.getInstance(conf)
    session.sparkContext.hadoopConfiguration.set("dfs.client.use.datanode.hostname","true")
    import session.implicits._
    session.sql(
      """
        |SELECT `time`, id, topic, catagray, url
        |FROM test.sougodata
        |""".stripMargin).show(20)
  }
}