SpringBoot多数据源使用impala连接

SpringBoot 2.0 + Impala 多数据源 JDBCTemplate SpringBoot 2.0 + Impala 多数据源 Named

SpringBoot 配置多数据源(Hikari连接池)连接Impala

注释:

Impala:

SpringBoot使用默认的Hikari连接池,连接Impala

  1. 增加依赖
<!--数据库连接池-->
<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-configuration-processor</artifactId>
  <optional>true</optional>
</dependency>

<!-- Impala start -->
<!-- 有可能下载不到该Jar, 可以到该地址下载相应版本:https://www.cloudera.com/downloads/connectors/impala/jdbc/2-6-3.html -->
<!-- https://mvnrepository.com/artifact/com.cloudera/ImpalaJDBC41 -->
<dependency>
  <groupId>com.cloudera</groupId>
  <artifactId>ImpalaJDBC41</artifactId>
  <version>${impala.version}</version>
</dependency>
<!-- Impala end -->
  1. 配置application.yml文件
server:
  port: 7001
spring:
  profiles:
    active: dev
  servlet:
    multipart:
      enabled: true
  mvc:
    view:
      prefix: /
      suffix: .html
    favicon:
      enabled: false
logback:
  name: template

---
# developer enviroment
spring:
  profiles: dev
  datasource:
    impala: 
      driver-class-name: com.cloudera.impala.jdbc41.Driver
      jdbc-url: jdbc:impala://xx:21050/default
    oracle:
      first:
        driver-class-name: oracle.jdbc.OracleDriver
        jdbc-url: jdbc:oracle:thin:@//xx:1521/db
        username: xx
        password: xx
---
# developer enviroment
spring:
  profiles: test
  datasource:
    impala: 
      driver-class-name: com.cloudera.impala.jdbc41.Driver
      jdbc-url: jdbc:impala://xx:21050/default
    oracle:
      first:
        driver-class-name: oracle.jdbc.OracleDriver
        jdbc-url: jdbc:oracle:thin:@//xx:1521/db
        username: xx
        password: xx
---
# developer enviroment
spring:
  profiles: prod
  datasource:
    impala: 
      driver-class-name: com.cloudera.impala.jdbc41.Driver
      jdbc-url: jdbc:impala://xx:21050/default
    oracle:
      first:
        driver-class-name: oracle.jdbc.OracleDriver
        jdbc-url: jdbc:oracle:thin:@//xx:1521/db
        username: xx
        password: xx
  1. 多数据源连接配置类
  • 项目目录结构
src
├───main
│   ├───java
│   │   └───com
│   │       └───template
│   │           ├───common      # 公共部分
│   │           ├───config      # 配置、数据源
│   │           ├───domain      # DO、DTO、VO
│   │           ├───repository  # 数据库访问层
│   │           ├───service     # 逻辑层
│   │           │   └───impl    # 逻辑具体实现
│   │           ├───util        # 工具类
│   │           └───web         # api 接口
│   └───resources
│       ├───static              # 静态资源文件
│       │   └───js              # 页面依赖的javascript 文件
│       └───templates           # 页面模板文件
└───test
    └───java
        └───com
            └───template
                ├───config
                └───repository
  • 多数据源配置类
package com.template.config;

import javax.sql.DataSource;

import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.jdbc.core.namedparam.NamedParameterJdbcTemplate;

import com.zaxxer.hikari.HikariDataSource;

@Configuration
public class HikariDataSourceConfig {

    @Primary
    @Bean(name = "impalaDataSource")
    @Qualifier(value = "impalaDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.impala")
    public DataSource primaryDataSource() {
        return DataSourceBuilder.create().type(HikariDataSource.class).build();
    }

    @Bean(name = "jdbcTemplateImpala")
    public JdbcTemplate jdbcTemplateImpala(@Qualifier("impalaDataSource") DataSource dataSource) {
        return new JdbcTemplate(dataSource);
    }

    @Bean(name = "namedJdbcTemplateImpala")
    public NamedParameterJdbcTemplate namedJdbcTemplateImpala(
            @Qualifier("impalaDataSource") DataSource dataSource) {
        return new NamedParameterJdbcTemplate(dataSource);
    }

    @Bean(name = "secondOracleDataSource")
    @Qualifier(value = "secondOracleDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.oracle.first")
    public DataSource firstOracleDataSource() {
        return DataSourceBuilder.create().type(HikariDataSource.class).build();
    }

    @Bean(name = "jdbcTemplateOracle1")
    public JdbcTemplate jdbcTemplateOracle1(
            @Qualifier("secondOracleDataSource") DataSource dataSource) {
        return new JdbcTemplate(dataSource);
    }

}
  1. 测试类
package com.template.config;


import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.test.context.junit4.SpringRunner;

import lombok.extern.slf4j.Slf4j;

@Slf4j
@SpringBootTest
@RunWith(SpringRunner.class)
public class HikariDataSourceConfigTest {

    @Autowired
    private JdbcTemplate jdbcTemplateImpala;

    @Test
    public void testImpalaJdbcTemplate() {
        log.info("impala jdbctemplate connection start:");
        String sql = "select count(*) from table";
        Integer count = jdbcTemplateImpala.queryForObject(sql, Integer.class);
        log.info("impalaJdbcTemplate query result :\t" + count);

    }

}
  • 0
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 19
    评论
Impala是Apache的一个开源分布式SQL查询引擎,它可以直接访问Hadoop集群中的数据,并提供了类似于关系型数据库的高性能查询功能。而Hive是一个数据仓库基础设施,它提供了一种将结构化数据映射到Hadoop分布式文件系统HDFS的方法。 在使用Impala连接Hive之前,需要确保Impala和Hive都已经在Hadoop集群上正确地安装和配置。 首先,我们需要在Impala中启用对Hive的支持。在Impala的配置文件中(一般是impalad或impala-shell),将参数`-use_hive_catalog=true`设置为True。这样Impala将会连接到Hive的元数据存储,以获取Hive表的信息。 然后,我们可以使用Impala Shell或者Impala JDBC/ODBC驱动程序连接Impala。在连接字符串中,需要指定Impala Daemon的主机名和端口号。例如:`impala-shell -i hostname:port`。 在Impala Shell中,默认情况下,可以使用`USE DATABASE`语句来切换到Hive数据库。例如:`USE DATABASE hive_db;`。 一旦连接到Hive数据库,我们可以使用Impala的SQL语法来查询Hive表。例如:`SELECT * FROM hive_table LIMIT 10;`。Impala会将查询转换为MapReduce任务并直接在HDFS上运行,从而实现高性能的查询。 需要注意的是,Impala和Hive虽然都能够处理结构化数据,但它们的数据模型和查询语法可能略有不同。因此,需要根据具体情况来调整查询语句,以确保查询的正确性和性能。 总结起来,Impala连接Hive可以通过在Impala的配置文件中启用对Hive的支持,并使用Impala Shell或驱动程序连接Impala,然后可以直接使用Impala的SQL语法来查询Hive表。这样可以充分利用Impala的高性能查询功能来处理Hive中的数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值