dynamic-datasource动态多数据源整合hive impala

最新推荐文章于 2024-05-27 15:44:12 发布
最新推荐文章于 2024-05-27 15:44:12 发布
阅读量666 收藏
点赞数
分类专栏： SpringBoot Mybatis 文章标签： SpringBoot mybatisplus hive impala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanhongwei1994/article/details/116453390
版权

pom文件

<dependencies>
        <dependency>
            <groupId>com.cloudera</groupId>
            <artifactId>ImpalaJDBC41</artifactId>
            <version>2.5.41</version>
        </dependency>
        <!-- 手动添加的依赖  start-->
        <!-- commons lang dependency -->
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.geronimo.components/geronimo-jaspi -->
        <dependency>
            <groupId>org.apache.geronimo.components</groupId>
            <artifactId>geronimo-jaspi</artifactId>
            <version>2.0.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/javax.servlet/javax.servlet-api -->
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>javax.servlet-api</artifactId>
            <version>3.1.0</version>
            <scope>provided</scope>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.thrift/libthrift -->
        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libthrift</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
        </dependency>
        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
        </dependency>
        <!-- 手动添加的依赖  end-->
        <!-- support hive -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>2.1.1</version>
            <exclusions>
                <exclusion>
                    <artifactId>jsr305</artifactId>
                    <groupId>com.google.code.findbugs</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>guava</artifactId>
                    <groupId>com.google.guava</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-lang</artifactId>
                    <groupId>commons-lang</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>netty</artifactId>
                    <groupId>io.netty</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jdk.tools</artifactId>
                    <groupId>jdk.tools</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>log4j</artifactId>
                    <groupId>log4j</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>avro</artifactId>
                    <groupId>org.apache.avro</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-compress</artifactId>
                    <groupId>org.apache.commons</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>curator-client</artifactId>
                    <groupId>org.apache.curator</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>curator-framework</artifactId>
                    <groupId>org.apache.curator</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>curator-recipes</artifactId>
                    <groupId>org.apache.curator</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-annotations</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-auth</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-client</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-common</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-hdfs</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-mapreduce-client-core</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-yarn-api</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-xc</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-mapper-asl</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-jaxrs</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>jackson-core-asl</artifactId>
                    <groupId>org.codehaus.jackson</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>zookeeper</artifactId>
                    <groupId>org.apache.zookeeper</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>libthrift</artifactId>
                    <groupId>org.apache.thrift</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-yarn-common</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>servlet-api</artifactId>
                    <groupId>javax.servlet</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- lomback -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.10</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <!--springBoot的aop-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-aop</artifactId>
        </dependency>
        <!-- oracle -->
        <dependency>
            <groupId>com.oracle</groupId>
            <artifactId>ojdbc6</artifactId>
            <version>11.2.0.2.0</version>
        </dependency>

        <!--mybatis-plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.3.0</version>
        </dependency>
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
            <version>3.3.0</version>
        </dependency>

    </dependencies>

查看maven依赖把结果保存在txt中

mvn dependency:tree>tree.txt

错误复现

  1. Caused by: org.apache.thrift.TApplicationException: Required field ‘client_protocol’ is unset!

hive的server版本和客户端版本不一致

  1. Caused by: java.sql.SQLException: Method not supported

hive的server版本和客户端版本不一致

  1. Caused by: java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
 <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
  1. Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/thrift/TEnum
<dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libthrift</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
        </dependency>
        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
        </dependency>
  1. java.lang.NoSuchMethodError: javax.servlet.ServletContext.getVirtualServerName()Ljava/lang/String;
		        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>javax.servlet-api</artifactId>
            <version>3.1.0</version>
            <scope>provided</scope>
        </dependency>

参考:
动态多数据源
SpringBoot报错：java.lang.NoSuchMethodError: javax.servlet.ServletContext.getVirtualServerName()Ljava/lang/String;

小布2025
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hive接入多数据源
fanlying的博客
10-31 1339
目录 一、接入JSON格式文件 二、接入mongodb数据 一、接入JSON格式文件 经常会有接口返回json格式数据，或者json格式日志文件需要接入到hive中 导入相应jar包来序列反序列化(SerDe)来解析json格式 add jar hive-hcatalog-core-0.13.0.jar CREATE external TABLE IF NOT EXISTS sch...
SpringBoot多数据源配置(hive/mysql)
alan_liuyue的博客
05-20 9277
简介 在项目实践中，同一个项目可能需要整合多种数据源，把分散到各个数据库、数据表的数据都查询统计出来； SpringBoot有默认的数据源配置，本篇博客将整合SpringBoot多数据源配置，包括mysql、hive等，通过jdbctemplate或mybatis进行使用； 版本配置(版本可自行选择，这里是博主的测试版本)：jdk1.8，springboot1.5.9，hive2.1.1，h...
【Spring】DynamicDataSourceHolder 动态数据源切换
代码的魅力，根本走不出来
05-27 914
*** 设置数据源* @param dataSourceKey 数据源标识*//*** 获取数据源* @return 数据源标识*//*** 清除数据源*/在Spring配置中定义数据源，并将动态数据源配置为主数据源。import org。
springboot动态数据源添hive等其他数据源
againI的博客
02-28 1532
BeanPostProcessor实际使用场景、动态数据源添加自定义实现、springboot整合hive
Spark SQL：Hive数据源复杂综合案例实战
weixin_34390996的博客
09-28 183
一、Hive数据源实战 Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。 使用Hiv...
springboot 2.* 整合 hive 和 mysql 多数据源配置
转身那一瞬
07-12 1741
话不多说，直接开搞： 添加 POM 的hive 和 mysql 依赖（可能有一些没有用） <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</ver...
springBoot多数据源配置，如mysql、hive，使用druid连接池
mathlpz126的博客
09-22 1751
总共需要以下几个类： package com.config.datasource; import com.alibaba.druid.pool.DruidDataSource; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springfr
dynamic-datasource-spring-boot-starter_多数据源_
10-04
总的来说，`dynamic-datasource-spring-boot-starter`是一个强大的工具，能够帮助开发者高效地管理和使用多数据源，提高系统的可扩展性和可用性。如果你正在开发一个需要处理多个数据库的应用，那么这个项目将是一个...
dynamic-datasource-spring-boot-starter：springboot的动态数据源多数据源动态数据源主从分离读写分离分布式事务https：dynamic-datasource.com
01-30
一个基于springboot的快速集成多数据源的启动器简介dynamic-datasource-spring-boot-starter是一个基于springboot的快速集成多数据源的启动器。其支持Jdk 1.7 +，SpringBoot 1.4.x 1.5.x 2.xx。文件| 文献资料|特性...
SpringBoot多数据源配置（方式五：使用dynamic-datasource动态数据源插件）.docx
最新发布
05-28
### Spring Boot 多数据源配置（使用 dynamic-datasource 动态数据源插件） #### 一、多数据源背景及介绍 在 Spring Boot 应用开发过程中，开发者通常会为项目配置一个单一的数据源来执行数据库操作。然而，在某些...
SpringBoot+dynamic-datasource实现多数据源(msyql、sqlserver)手动切换示例代码
02-19
SpringBoot+dynamic-datasource实现多数据源(msyql、sqlserver)手动切换示例代码 https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/135701561
spring-boot集成mybtis+druid实现hive/mysql多数据源切换
09-28
spring-boot集成mybatis+druid实现 hive/mysql多数据源切换，用mysql数据库作为用户验证库以及用户信息库，hive作为数据可视化源库。
mysql-oracle-dynamic-datasource.zip
10-15
基于springboot+mybatis轻量多数据源框架，同时支持mysql及oracle数据源链接。内部未附sql建表语句，可自行根据entity类进行表创建。
springboot +hive+mysql 德鲁伊特 实现 多数据源切换
12-09
springboot +hive+mysql 多数据源切换 个人写了一个demo 并测试通过 下载地址
dynamic-datasource-aop-loop.rar
07-10
dynamic-datasource-aop-loop.,springboot结合切面，加上自定义注解实现动态数据源切换，事务处理，循环遍历数据库文件
dynamic-datasource.zip
08-19
动态数据源（Dynamic DataSource）是Java开发中处理多数据源的一种技术，主要应用于需要同时连接多个数据库的应用场景。在大型企业级应用或者分布式系统中，根据业务需求将数据分散存储在多个数据库中是很常见的做法...
java连接impala节点,Java连接impala示例(jdbc连接impala)
weixin_34665982的博客
03-16 773
目的：提供一个通过 Java代码连接impala，进行查询操作的方法。实现代码如下：1.获取连接的工厂方法ImpalaFactory.javapublic class ImpalaFactory {private static ThreadLocal connections = new ThreadLocal();private static ResourceBundle rb = Resourc...
SpringBoot 基于Aspect实现多数据源，支持hive数据源（一）
hnmpf的博客
11-18 655
项目背景： 最近在摸索中接触大数据展示项目，提到大数据统计就不得不解决多数据源，动态数据源问题，当然这些问题可以通过其他方案替代，但响应的需要付出一定的代价。本笔记中主要探讨的是在一个简单的springboot 项目中引入多种数据源，用户根据业务自动切换响应的数据源进行业务统计，或者在一个API中实现多数据源联合统计。 工具： STS 施工： 新建项目工程: ...
hive的数据库表操作命令
阿宽
07-05 2780
//Linux文件转码 iconv PhoneInfo.txt -f GBK -t UTF-8 -o data.txt //查看表的结构 desc 表名 desc extends 表名 desc formatted 表名 //查询数据 select id,name,sex,age,department from student; //表中加入数据 load data ...
dynamic-datasource-spring-boot-starter 实现多数据源
09-03
dynamic-datasource-spring-boot-starter 是一个用于在 Spring Boot 应用中实现多数据源的开源项目。它提供了简单易用的配置方式和强大的功能，让我们能够轻松地管理和切换多个数据源。 使用 dynamic-datasource-spring-boot-starter 实现多数据源的步骤如下： 1. 引入 dynamic-datasource-spring-boot-starter 依赖。在 Maven 或 Gradle 中添加对该项目的依赖，即可将其引入到项目中。 2. 配置多个数据源。在应用的配置文件中，添加多个数据源的配置信息。可以为每个数据源指定不同的 URL、用户名、密码等参数。 3. 配置数据源路由策略。使用 dynamic-datasource-spring-boot-starter 提供的数据源路由策略，将数据源动态地路由到对应的方法或服务上。 4. 使用注解标识数据源。在需要访问不同数据源的方法或服务上，使用相应的注解标识数据源。dynamic-datasource-spring-boot-starter 提供了一系列的注解，如 @DataSource、@Master、@Slave 等，用于标识不同的数据源。 5. 运行应用。运行应用后，dynamic-datasource-spring-boot-starter 会根据配置和注解的设置，将请求路由到正确的数据源上。 通过以上步骤，我们就能够轻松地实现多数据源的管理和切换。dynamic-datasource-spring-boot-starter 的灵活性和高性能使得在实际项目中使用多数据源变得非常简单和高效。同时，该项目还提供了丰富的监控和调试功能，方便我们对多数据源的运行情况进行监控和优化。总之，dynamic-datasource-spring-boot-starter 是一个强大的工具，为我们实现多数据源提供了便捷和可靠的解决方案。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值