spark操作hive（可解决绝大部分的问题）、sparksql操作hive

最新推荐文章于 2024-12-11 13:46:45 发布

LaZY_apple

最新推荐文章于 2024-12-11 13:46:45 发布

阅读量2.1w

点赞数 26

分类专栏：大数据排错文章标签： hive集成spark

本文链接：https://blog.csdn.net/weixin_43093501/article/details/95023669

版权

本文详述了在Windows上使用IntelliJ IDEA进行Spark操作Hive遇到的各类问题及其解决方案，包括Scala版本不匹配、Hive元数据获取失败、只能查询default库等问题，以及解决这些问题的方法，如配置依赖、拷贝集群配置文件和启动Hive metastore服务。

摘要由CSDN通过智能技术生成

目标：

想要完成使用spark在windows的idea下操作hive（对hive中的表查询等）

最终代码（java）：

import org.apache.spark.sql.SparkSession;

import java.io.Serializable;

/**
 * Created by Administrator on 2017/4/3.
 */
public class SQLHiveJava {
   
    
    public static void main(String[] args) {
   

        SparkSession spark = SparkSession
                .builder()
                .appName("Java Spark Hive Example")
                .master("local[*]")
                .config("spark.sql.warehouse.dir","hdfs://mycluster/user/hive/warehouse")
                .enableHiveSupport()
                .getOrCreate();


        spark.sql("show databases").show();
        spark.sql("select count(*) from mobike.logs").show();
        spark.sql("select * from mobike.logs").show();

    }
}