HIVESERVER2 HA配置及使用(java)

本文介绍HiveServer2高可用配置步骤,包括Zookeeper集群注册与客户端连接方式。通过修改配置文件并创建Zookeeper命名空间实现动态服务发现。提供Java示例代码展示如何连接HiveServer2。
  1. 原理:
      1.1 每个hiveserver2的实例启动的时向指定的zk namespace注册自己的信息主要是HOSTNAME:PORT
      1.2 client 连接的时候首先向zk 随机获取HOSTNAME:PORT,然后建立连接。开始执行hive操作
  2. 架构:
      
  3. 配置:
     3.1 修改hive-site.xml配置文件:增加以下配置
     

    <property>

           <name>hive.zookeeper.quorum</name>

           <value>172.x.x.x:2181,172.x.x.x:2181,172.x.x.x:2181</value>

       </property>

     

       <property>

           <name>hive.zookeeper.session.timeout</name>

           <value>10000</value>

       </property>

     

       <property>

           <name>hive.server2.support.dynamic.service.discovery</name>

           <value>true</value>

       </property>

     

       <property>

           <name>hive.server2.zookeeper.namespace</name>

           <value>hiveserver2</value>

       </property>

    3.2 在zk中创建namespace为hiveserver2的节点。

  4. 启动:
    在需要启动hiveserver2的集群上面分别执行以下命令:

    hive --service hiveserver2 deregister
  5. 使用:
    4.1 采用java连接hiveserver2
          

    package  com.baifendian.hiveserver2.ha;
    import  java.sql.SQLException;
    import  java.sql.Connection;
    import  java.sql.ResultSet;
    import  java.sql.Statement;
    import  java.sql.DriverManager;
      
    public  class  TestHiveserverHA {
       private  static  String driverName =  "org.apache.hive.jdbc.HiveDriver" ;
      
       /**
        * @param args
        * @throws SQLException
        */
       public  static  void  main(String[] args)  throws  SQLException {
         try  {
           Class.forName(driverName);
         catch  (ClassNotFoundException e) {
           // TODO Auto-generated catch block
           e.printStackTrace();
           System.exit( 1 );
         }
         String hive2String =  "jdbc:hive2://172.x.x.x:2181,172.x.x.x:2181,172.x.x.x:2181/default" +
                              ";serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2" ;   
         //DriverManager.
         Connection con = DriverManager.getConnection(hive2String,  "hive" "" );
         System.out.println(con);
         Statement stmt = con.createStatement();
         String tableName =  "testHiveDriverTable" ;
         stmt.execute( "drop table if exists "  + tableName);
         stmt.execute( "create table "  + tableName +  " (key int, value string)" );
         String sql =  "show tables" ;
         System.out.println( "Running: "  + sql);
         ResultSet res = stmt.executeQuery(sql);
         if  (res.next()) {
           System.out.println(res.getString( 1 ));
         }
       }
       
    }
  6. 参考地址:
    hiveserver2 HA参考地址
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值