Intellij+Spark+HIve整合，metastore元数据无效

最新推荐文章于 2023-03-08 18:51:24 发布

充满元气的Code猿

最新推荐文章于 2023-03-08 18:51:24 发布

阅读量313

点赞数 1

文章标签： hive spark

本文链接：https://blog.csdn.net/weixin_40453404/article/details/104985962

版权

object Tang {
  def main(args: Array[String]): Unit = {
    //1.创建sparkConf
    val conf = new SparkConf().setMaster("local[1]").setAppName("Tang")
    //2.创建sparkSession
    val spark = SparkSession.builder()
      .config(conf)
      //118.25.122.125
      122.51.241.109
      //.config("hive.metastore.uris", "thrift://118.25.122.125:9083")
      .config("spark.sql.warehouse.dir", "hdfs://122.51.241.109:9000/opt/bigdata2.7/hive_remote/warehouse")
      .enableHiveSupport()
      .getOrCreate()
    //3.读取hive信息
    // spark.sql("CREATE TABLE IF NOT EXISTS monitor_camera_info2(monitor_id string ,camera_id string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t'")

    import spark.implicits._
    val resultDF: DataFrame = spark.sql("select * from traffic.monitor_camera_info")
    //4.打印结果
    resultDF.show(10)
    //5.关闭会话
    spark.close()
  }
}

集群中测试Spark和Hive整合成功，但是本地测试Hive元数据不起作用，Spark默认使用本地Hive元数据
导致结果：
在这里插入图片描述
解决办法：
将hive-site.xml文件放到resource，目录下