jdbc impala连接hive


import java.sql.Connection;
import java.sql.Driver;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Properties;

public class TestConnection {

    public static void main(String[] args)
            throws InstantiationException, IllegalAccessException, ClassNotFoundException, SQLException {
        Driver driver = (Driver) Class.forName("com.cloudera.impala.jdbc41.Driver").newInstance();
        Properties propertes = new Properties();
        Connection connetction = driver
                .connect("jdbc:impala://192.168.44.141:21051/data;AuthMech=3;UID=hive;PWD=hive", propertes); // 使用第三种安全验证

        String sql = "SELECT * FROM data.article a WHERE id=?";

        PreparedStatement stmt = connetction.prepareStatement(sql);
        stmt.setString(1, "100");
        ResultSet rs = stmt.executeQuery();
        System.out.println("完成执行===============================");
        if (rs.next()) {
            System.out.println("返回:" + rs.getObject(1));
        }
        rs.close();
        connetction.close();
    }

}

在pom.xml中引入依赖包,其中jar包到${project.basedir}/src/main/webapp/WEB-INF/lib/目录中

        <!-- impala start -->
        <dependency>
            <groupId>com.cloudera</groupId>
            <artifactId>ImpalaJDBC41</artifactId>
            <version>1.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/ImpalaJDBC41.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive_metastore</artifactId>
            <version>0.0.1</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/hive_metastore.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>hive_service</artifactId>
            <version>0.0.1</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/hive_service.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.3</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/commons-codec-1.3.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>com.facebook</groupId>
            <artifactId>libfb303-0.9.0</artifactId>
            <version>0.9.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/libfb303-0.9.0.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>com.facebook</groupId>
            <artifactId>libthrift-0.9.0</artifactId>
            <version>0.9.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/libthrift-0.9.0.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>ql</artifactId>
            <version>0.0.1</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/ql.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>TCLIServiceClient</artifactId>
            <version>0.0.1</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/TCLIServiceClient.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.6</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/src/main/webapp/WEB-INF/lib/zookeeper-3.4.6.jar</systemPath>
        </dependency>
        <!-- impala -->
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Impala是Apache的一个开源分布式SQL查询引擎,它可以直接访问Hadoop集群中的数据,并提供了类似于关系型数据库的高性能查询功能。而Hive是一个数据仓库基础设施,它提供了一种将结构化数据映射到Hadoop分布式文件系统HDFS的方法。 在使用Impala连接Hive之前,需要确保ImpalaHive都已经在Hadoop集群上正确地安装和配置。 首先,我们需要在Impala中启用对Hive的支持。在Impala的配置文件中(一般是impalad或impala-shell),将参数`-use_hive_catalog=true`设置为True。这样Impala将会连接Hive的元数据存储,以获取Hive表的信息。 然后,我们可以使用Impala Shell或者Impala JDBC/ODBC驱动程序连接Impala。在连接字符串中,需要指定Impala Daemon的主机名和端口号。例如:`impala-shell -i hostname:port`。 在Impala Shell中,默认情况下,可以使用`USE DATABASE`语句来切换到Hive数据库。例如:`USE DATABASE hive_db;`。 一旦连接Hive数据库,我们可以使用Impala的SQL语法来查询Hive表。例如:`SELECT * FROM hive_table LIMIT 10;`。Impala会将查询转换为MapReduce任务并直接在HDFS上运行,从而实现高性能的查询。 需要注意的是,ImpalaHive虽然都能够处理结构化数据,但它们的数据模型和查询语法可能略有不同。因此,需要根据具体情况来调整查询语句,以确保查询的正确性和性能。 总结起来,Impala连接Hive可以通过在Impala的配置文件中启用对Hive的支持,并使用Impala Shell或驱动程序连接Impala,然后可以直接使用Impala的SQL语法来查询Hive表。这样可以充分利用Impala的高性能查询功能来处理Hive中的数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值