CDH6.3.1发行版，idea本地调试spark连接hive仓库demo

行走的小鱼

已于 2022-03-04 15:48:55 修改

阅读量1.6k

点赞数 1

文章标签： hive spark intellij-idea cloudera

于 2022-02-25 14:31:33 首次发布

本文链接：https://blog.csdn.net/FengYeHanQiu/article/details/123131880

版权

本文介绍了在CDH6.3.1环境下，如何配置idea以进行本地调试Spark程序读取Hive仓库。由于CDH整合后的集群配置与原生Apache Hadoop不同，作者分享了自己调整hive-site.xml的经验，使得本地IDEA能成功连接并执行SparkSQL。项目结构、关键配置文件和测试代码均被详细说明。

摘要由CSDN通过智能技术生成

最近接手个CDH6.3.1版本的大数据集群，以前我搭建的都是apache原生Hadoop集群，通过编辑器调试sparkSQL读取hive很容易。现在遇到CDH整合后的集群还是有点不习惯，找到cdh环境中的hive-site.xml里面配置基本没用。网上找了许多感觉没有正解，我按照原生apache的hive-site.xml配置更改了下，可以实现本地idea调试启动spark程序读取hive表。

项目结构

hive-site.xml配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- hive元数据服务url -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://开启metastore主机ip:9083</value>
    </property>
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hive使用mysql库的ip:3306/hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>password</value>
    </property>
    <property>
        <name>hive.zookeeper.quorum</name>