jdbc远程连接hiveserver2

最新推荐文章于 2024-08-05 20:59:55 发布

编程初丁

最新推荐文章于 2024-08-05 20:59:55 发布

阅读量8.4k

点赞数 1

分类专栏： hive 文章标签：远程连接 Hive java jdbc

本文链接：https://blog.csdn.net/u010842515/article/details/51251207

版权

本文介绍了如何通过HiveServer2实现远程操作Hive。HiveServer2解决了HiveServer的并发请求限制，支持多客户端并发和认证。文章详细讲解了配置HiveServer2、启动服务的步骤，并提供了查看服务状态的方法。最后，展示了Java API的使用，包括所需依赖的Jar包和示例代码。

摘要由CSDN通过智能技术生成

在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServer或者HiveServer2都是基于Thrift的，但HiveSever有时被称为Thrift server，而HiveServer2却不会。既然已经存在HiveServer为什么还需要HiveServer2呢？这是因为HiveServer不能处理多于一个客户端的并发请求，这是由于HiveServer使用的Thrift接口所导致的限制，不能通过修改HiveServer的代码修正。因此在Hive-0.11.0版本中重写了HiveServer代码得到了HiveServer2，进而解决了该问题。HiveServer2支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供了更好的支持。

所以本文将以HiveServer2为例，介绍并编写远程操作的Hive的Java API。

首先先列出并本文使用的hive的关键的配置信息：

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/usr/hive/warehouse</value>               //（hive中的数据库和表在HDFS中存放的文件夹的位置）
  <description>location of default database for the warehouse</description>
</property>
<property>
  <name>hive.server2.thrift.port</name>
  <value>10000</value>                               //（HiveServer2远程连接的端口，默认为10000）
  <description>Port number of HiveServer2 Thrift interface.
  Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>
</property>

<property>
  <name>hive.server2.thrift.bind.host</name>
  <value>**.**.**.**</value>                          //（hive所在集群的IP地址）
  <description>Bind host on which to run the HiveServer2 Thrift interface.
  Can be overridden by setting $HIVE_SERVER2_THRIFT_BIND_HOST</description>
</property>
<property>
  <name>hive.server2.long.polling.timeout</name>
  <value>5000</value>                                // (默认为5000L,此处修改为5000，不然程序会报错)
  <description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  //（Hive的元数据库，我采用的是本地Mysql作为元数据库）
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>                         
  <name>javax.jdo.option.ConnectionDriverName</name>          //（连接元数据的驱动名）
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>             //（连接元数据库用户名）
  <value>hive</value>
  <description>username to use against metastore datab