springboot整合Impala

一、pom.xml

<dependency>
            <groupId>impala</groupId>
            <artifactId>impala-jdbc41</artifactId>
            <version>2.5.41</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/ImpalaJDBC41.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>metastore</groupId>
            <artifactId>hive_metastore</artifactId>
            <version>1.1</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/hive_metastore.jar</systemPath>
        </dependency>

        <dependency>
            <groupId>hive_service</groupId>
            <artifactId>hive_service</artifactId>
            <version>1.1</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/hive_service.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>libfb303</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/libfb303-0.9.0.jar</systemPath>
        </dependency>

        <dependency>
            <groupId>libthrift</groupId>
            <artifactId>libthrift</artifactId>
            <version>0.9.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/libthrift-0.9.0.jar</systemPath>
        </dependency>

        <dependency>
            <groupId>ql</groupId>
            <artifactId>ql</artifactId>
            <version>1.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/ql.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>tcliserviceclient</groupId>
            <artifactId>tcliserviceclient</artifactId>
            <version>1.0</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/TCLIServiceClient.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.6</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/lib/zookeeper-3.4.6.jar</systemPath>
        </dependency>

二、yml配置

可不指定用户名密码

spring:
  datasource:
    impala:
      driver-class-name: com.cloudera.impala.jdbc41.Driver 		    
      jdbc:impala://10.1.3.114:21050/defaultjdbc:impala://10.1.3.114:21050

三、报错解决

{
  "code": 10000,
  "message": "\r\n### Error querying database.  Cause: java.sql.SQLException: [Simba][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:AnalysisException: Could not resolve table reference: 'dim_dd_role'\n), Query: SELECT  role_id,role_name,role_key,role_sort,status,role_object,remark,create_time,update_time,create_user,update_user,delete_flag  FROM dim_dd_role \n \n WHERE (status = 1).\r\n### The error may exist in com/shop/management/mapper/DimDDRoleMapper.java (best guess)\r\n### The error may involve defaultParameterMap\r\n### The error occurred while setting parameters\r\n### SQL: SELECT  role_id,role_name,role_key,role_sort,status,role_object,remark,create_time,update_time,create_user,update_user,delete_flag  FROM dim_dd_role     WHERE (status = ?)\r\n### Cause: java.sql.SQLException: [Simba][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:AnalysisException: Could not resolve table reference: 'dim_dd_role'\n), Query: SELECT  role_id,role_name,role_key,role_sort,status,role_object,remark,create_time,update_time,create_user,update_user,delete_flag  FROM dim_dd_role \n \n WHERE (status = 1).\n; uncategorized SQLException; SQL state [HY000]; error code [500051]; [Simba][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:AnalysisException: Could not resolve table reference: 'dim_dd_role'\n), Query: SELECT  role_id,role_name,role_key,role_sort,status,role_object,remark,create_time,update_time,create_user,update_user,delete_flag  FROM dim_dd_role \n \n WHERE (status = 1).; nested exception is java.sql.SQLException: [Simba][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:AnalysisException: Could not resolve table reference: 'dim_dd_role'\n), Query: SELECT  role_id,role_name,role_key,role_sort,status,role_object,remark,create_time,update_time,create_user,update_user,delete_flag  FROM dim_dd_role \n \n WHERE (status = 1).",
  "data": null,
  "traceId": "7262c3aabaf0b69d"
}

使用mybatisplus提供的标准方法查询报错

dimDDRoleMapper.selectList(Wrappers.lambdaQuery(DimDDRoleEntity.class).eq(DimDDRoleEntity::getStatus, 1))

改为在mapper文件中自己写sql

import com.baomidou.dynamic.datasource.annotation.DS;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.shop.management.pojo.auth.DimDDRoleEntity;

import java.util.List;

@DS("impala")
public interface DimDDRoleMapper extends BaseMapper<DimDDRoleEntity> {
    List<DimDDRoleEntity> selectList();
}

需要在表名前加上库名dim_gsdyf.dim_dd_role
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">

<mapper namespace="com.shop.management.mapper.DimDDRoleMapper">

    <select id="selectList" resultType="com.shop.management.pojo.auth.DimDDRoleEntity">
        SELECT  role_id,role_name,role_key,role_sort,status,role_object,remark,create_time,update_time,create_user,update_user,delete_flag
        FROM dim_gsdyf.dim_dd_role  WHERE (status = 1)    </select>
</mapper>
  • 6
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Atlas 是一个开源的数据治理和元数据管理框架,可以帮助用户对数据资产进行分类、发现、定义和管理。而Impala则是一个高性能、面向数据仓库的分布式SQL查询引擎。 Apache Atlas 与 Impala 可以进行整合,以实现更好的数据治理和元数据管理。具体来说,整合的好处主要有以下几点: 1. 元数据管理:Apache Atlas 可以通过其丰富的元数据模型来管理 Impala 的数据资产。它可以自动捕获和存储 Impala 表、列、分区、统计信息等重要的元数据信息,从而帮助用户了解和探索数据资产。 2. 数据分类:Apache Atlas 可以帮助用户对 Impala 中的数据进行分类和标记。通过定义和应用标签、分类和属性,用户可以更好地理解和管理 Impala 中的数据。例如,可以使用 Atlas 标记某个表包含敏感信息,从而在后续的数据治理策略中进行限制。 3. 数据发现和探索:借助于 Apache Atlas 的数据发现功能,用户可以快速和准确地搜索和定位 Impala 中的数据集,以满足数据需求。此外,Atlas 还可以提供多种可视化工具,帮助用户理解 Impala 数据的依赖关系和血缘关系,进而更好地进行数据分析和处理。 4. 安全和合规性:通过整合 Apache Atlas 和 Impala,用户可以建立和实施更严格的数据安全和合规性策略。Atlas 可以跟踪和记录数据资产的访问、变更历史以及与 Impala 相关的安全事件,以帮助用户监控和控制数据资产的使用和访问权限。 综上所述,Apache Atlas 可以与 Impala 进行整合,提供更强大的数据治理和元数据管理功能。通过联合使用这两个工具,用户可以更好地理解和管理 Impala 中的数据资产,以实现更高效、安全和合规性的数据处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值