springboot集成hive实战

最新推荐文章于 2024-08-05 11:07:33 发布
最新推荐文章于 2024-08-05 11:07:33 发布
阅读量8.9k 收藏 27
点赞数 7
分类专栏： springboot 文章标签： hive hadoop hdfs springboot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Winter_chen001/article/details/110449266
版权

springboot集成hive实现基本的api调用

maven坐标

		<properties>
	        <hadoop.version>3.3.0</hadoop.version>
	    </properties>
				<!-- hadoop -->
				<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-streaming</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.google.guava</groupId>
                    <artifactId>guava</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-distcp</artifactId>
            <version>${hadoop.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>${hadoop.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.2.1</version>
        </dependency>

        <!-- hive依赖 -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>2.3.0</version>
        </dependency>

        <!-- 中文分词器 -->
        <dependency>
            <groupId>cn.bestwu</groupId>
            <artifactId>ik-analyzers</artifactId>
            <version>5.1.0</version>
        </dependency>

配置：

spring:
  application:
    name: hadoop-demo
  datasource:
    hive: #hive数据源
      url: jdbc:hive2://192.168.150.119:10000/default
      type: com.alibaba.druid.pool.DruidDataSource
      username: winterchen
      password: winterchen
      driver-class-name: org.apache.hive.jdbc.HiveDriver
    common-config: #连接池统一配置，应用到所有的数据源
      initialSize: 1
      minIdle: 1
      maxIdle: 5
      maxActive: 50
      maxWait: 10000
      timeBetweenEvictionRunsMillis: 10000
      minEvictableIdleTimeMillis: 300000
      validationQuery: select 'x'
      testWhileIdle: true
      testOnBorrow: false
      testOnReturn: false
      poolPreparedStatements: true
      maxOpenPreparedStatements: 20
      filters: stat

@Data
@NoArgsConstructor
@AllArgsConstructor
@Component
@ConfigurationProperties(prefix = "spring.datasource.hive", ignoreUnknownFields = false)
public class HiveJdbcProperties {

    private String url;

    private String type;

    private String username;

    private String password;

    private String driverClassName;

}

@Data
@NoArgsConstructor
@AllArgsConstructor
@Component
@ConfigurationProperties(prefix = "spring.datasource.common-config", ignoreUnknownFields = false)
public class DataSourceCommonProperties {

    private int initialSize = 10;
    private int minIdle;
    private int maxIdle;
    private int maxActive;
    private int maxWait;
    private int timeBetweenEvictionRunsMillis;
    private int minEvictableIdleTimeMillis;
    private String validationQuery;
    private boolean testWhileIdle;
    private boolean testOnBorrow;
    private boolean testOnReturn;
    private boolean poolPreparedStatements;
    private int maxOpenPreparedStatements;
    private String filters;

    private String mapperLocations;
    private String typeAliasPackage;
}

@Slf4j
@Configuration
@EnableConfigurationProperties({HiveJdbcProperties.class, DataSourceCommonProperties.class})
public class HiveDruidConfiguration {

    @Autowired
    private HiveJdbcProperties hiveJdbcProperties;

    @Autowired
    private DataSourceCommonProperties dataSourceCommonProperties;

    @Bean("hiveDruidDataSource") //新建bean实例
    @Qualifier("hiveDruidDataSource")//标识
    public DataSource dataSource(){
        DruidDataSource datasource = new DruidDataSource();

        //配置数据源属性
        datasource.setUrl(hiveJdbcProperties.getUrl());
        datasource.setUsername(hiveJdbcProperties.getUsername());
        datasource.setPassword(hiveJdbcProperties.getPassword());
        datasource.setDriverClassName(hiveJdbcProperties.getDriverClassName());

        //配置统一属性
        datasource.setInitialSize(dataSourceCommonProperties.getInitialSize());
        datasource.setMinIdle(dataSourceCommonProperties.getMinIdle());
        datasource.setMaxActive(dataSourceCommonProperties.getMaxActive());
        datasource.setMaxWait(dataSourceCommonProperties.getMaxWait());
        datasource.setTimeBetweenEvictionRunsMillis(dataSourceCommonProperties.getTimeBetweenEvictionRunsMillis());
        datasource.setMinEvictableIdleTimeMillis(dataSourceCommonProperties.getMinEvictableIdleTimeMillis());
        datasource.setValidationQuery(dataSourceCommonProperties.getValidationQuery());
        datasource.setTestWhileIdle(dataSourceCommonProperties.isTestWhileIdle());
        datasource.setTestOnBorrow(dataSourceCommonProperties.isTestOnBorrow());
        datasource.setTestOnReturn(dataSourceCommonProperties.isTestOnReturn());
        datasource.setPoolPreparedStatements(dataSourceCommonProperties.isPoolPreparedStatements());
        try {
            datasource.setFilters(dataSourceCommonProperties.getFilters());
        } catch (SQLException e) {
            log.error("Druid configuration initialization filter error.", e);
        }
        return datasource;
    }
}

注册jdbcTemplate

@Configuration
public class HiveJdbcConfiguration {

    @Bean("hiveJdbcTemplate")
    @Qualifier("hiveJdbcTemplate")
    public JdbcTemplate jdbcTemplate(@Qualifier("hiveDruidDataSource") DataSource dataSource) {
        return new JdbcTemplate(dataSource);
    }

}

基本api调用

package com.winterchen.hadoopdemo.service;

import java.util.List;

public interface HiveService {

    Object select(String hql);

    List<String> listAllTables();

    List<String> describeTable(String tableName);

    List<String> selectFromTable(String tableName);

}

package com.winterchen.hadoopdemo.service.impl;

import com.winterchen.hadoopdemo.service.HiveService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Service;
import org.springframework.util.StringUtils;

import javax.sql.DataSource;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

@Slf4j
@Service
public class HiveServiceImpl implements HiveService {

    @Autowired
    @Qualifier("hiveJdbcTemplate")
    private JdbcTemplate hiveJdbcTemplate;

    @Autowired
    @Qualifier("hiveDruidDataSource")
    private DataSource hiveDruidDataSource;

    @Override
    public Object select(String hql) {
        return hiveJdbcTemplate.queryForObject(hql, Object.class);
    }

    @Override
    public List<String> listAllTables() {
        List<String> result = new ArrayList<>();
        try {
            Statement statement = hiveDruidDataSource.getConnection().createStatement();
            String sql = "show tables";
            log.info("Running: " + sql);
            ResultSet resultSet = statement.executeQuery(sql);
            while (resultSet.next()) {
                result.add(resultSet.getString(1));
            }
            return result;
        } catch (SQLException throwables) {
            log.error(throwables.getMessage());
        }

        return Collections.emptyList();
    }

    @Override
    public List<String> describeTable(String tableName) {
        if (StringUtils.isEmpty(tableName)){
            return Collections.emptyList();
        }
        List<String> result = new ArrayList<>();
        try {
            Statement statement = hiveDruidDataSource.getConnection().createStatement();
            String sql = "describe " + tableName;
            log.info("Running" + sql);
            ResultSet resultSet = statement.executeQuery(sql);
            while (resultSet.next()) {
                result.add(resultSet.getString(1));
            }
            return result;
        } catch (SQLException throwables) {
            log.error(throwables.getMessage());
        }
        return Collections.emptyList();
    }

    @Override
    public List<String> selectFromTable(String tableName) {
        if (StringUtils.isEmpty(tableName)){
            return Collections.emptyList();
        }
        List<String> result = new ArrayList<>();
        try {
            Statement statement = hiveDruidDataSource.getConnection().createStatement();
            String sql = "select * from " + tableName;
            log.info("Running" + sql);
            ResultSet resultSet = statement.executeQuery(sql);
            int columnCount = resultSet.getMetaData().getColumnCount();
            String str = null;
            while (resultSet.next()) {
                str = "";
                for (int i = 1; i < columnCount; i++) {
                    str += resultSet.getString(i) + " ";
                }
                str += resultSet.getString(columnCount);
                log.info(str);
                result.add(str);
            }
            return result;
        } catch (SQLException throwables) {
            log.error(throwables.getMessage());
        }
        return Collections.emptyList();
    }
}

hive本身就是基于hadoop的MapReduce的一层封装，所以对于hive的操作都是查询和新增等操作，其他的api请参考jdbctemplate接口

源码地址:

WinterChenS/springboot-learning-experience

WinterChen的博客
关注
专栏目录
SpringBoot整合hive-jdbc示例
08-19
本项目对如何在Springboot项目中整合hive-jdbc进行简单示例和介绍，亲测可用，请放心下载。
【springboot】连接hive数据库
lorogy的博客
11-07 6328
springboot后台开发连接hive数据库 确保集群上hivesever2的服务已启动 hive数据库一般在10000端口 springboot开发 pox.xml 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="...
springboot基于Hadoop短视频流量数据分析与可视化
最新发布
平安喜乐
08-05 645
2.1 Java介绍Java语言正式诞生于1995年，是由SUN公司开发研制的OAK语言发展而来的。Java语言继承了OAK语言可跨平台运行的特点，融合了面向对象编程的风格，JAVA以其独有的开放性、跨平台性和面向网络的交互性席卷全球，以其安全性、易用性和开发周期短的特点，迅速从最初的编程语言发展成为全球第一大软件开发平台.广受时下程序开发人员的好评[3]。后来又为了丰富Java语言的用途，提高生产力，将它进行设计和改造，以满足更多地开发和应用场景。
spring boot集成hive
qq_39344641的博客
05-25 6154
文章目录前言一、创建spring boot工程1. 添加hive-jdbc依赖（无需hadoop依赖）2. 添加德鲁伊连接池依赖3. 完整依赖如下二、使用步骤1.配置Druid连接池2. 配置application.yml3. 编写controller进行测试 前言 spring boot集成hive，实现在网页查询hive数据。 非完全原创，参考链接放在下面 原帖的依赖会冲突导致无法运行，本帖修改了一些依赖，并加入了lombok，其余同原帖。 https://blog.csdn.net/pengj
Spring boot with Apache Hive
cnhome的专栏
01-02 422
转自 Maven &lt;dependency&gt; &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt; &lt;artifactId&gt;spring-boot-starter-jdbc&lt;/artifactId&gt; &lt;/dependency&gt; &lt;dependency&gt; &a
Spring Boot 集成 Hive
weixin_45131680的博客
09-15 1373
按照实际情况配置 MySQL 和 Hive 的地址、端口、账号、密码。其他依赖视个人情况添加。
spring boot 连接hive
热门推荐
凉白开不加冰
06-10 1万+
介绍：linux文章里讲了怎么部署，这章主要讲如何通过springboot连接hive 第一步：加入jar <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> &...
Hive+SpringBoot
avgety的博客
04-08 1255
Hive和springBoot的结合应用
flink集成springboot案例_Spring Boot整合Flink
weixin_39789370的博客
02-01 2363
软件版本:Spring Boot 2.1.6+Flink1.6.1+JDK1.8程序主体：@SpringBootApplicationpublic class HadesTmsApplication implements CommandLineRunner {public static void main(String[] args) {SpringApplication application ...
SpringBoot 整合多数据源 （MyBats + Druid）
2401_84091289的博客
05-04 777
既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。
Spring Boot+Kafka实战生产级Kafka消费组
程序员光剑
08-06 2519
Kafka是一个开源分布式消息系统，最初由LinkedIn开发，之后成为Apache项目的一部分。Kafka主要用于大数据实时流处理，具有低延迟、高吞吐量等特点。本文将会从基本概念、术语说明、原理及应用场景三个方面对Kafka进行详细介绍。Kafka作为一个分布式系统，需要配合Zookeeper实现主备、容错等功能。因此在实际中部署Kafka集群至少需要2台服务器，其中一台为zookeeper服务器。
spring-boot集成mybtis+druid实现hive/mysql多数据源切换
09-28
spring-boot集成mybatis+druid实现 hive/mysql多数据源切换，用mysql数据库作为用户验证库以及用户信息库，hive作为数据可视化源库。
springboot +hive+mysql 德鲁伊特 实现 多数据源切换
12-09
springboot +hive+mysql 多数据源切换 个人写了一个demo 并测试通过 下载地址
SpringBoot示例代码
04-24
在SpringBoot中，我们可以通过以下方式集成Hive： 1. 添加Hive的相关依赖到`pom.xml`，例如`hive-jdbc`。 2. 配置Hive的数据源，定义Hive的URL、用户名和密码。 3. 使用Spring的`@ConfigurationProperties`注解来...
Spring Boot2 系列教程(十)Spring Boot 整合 Freemarker
2401_84435578的博客
04-21 949
学习技术是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以：贵在坚持！最后再分享的一些BATJ等大厂20、21年的面试题，把这些技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，上面只是以图片的形式给大家展示一部分。Mybatis面试专题MySQL面试专题并发编程面试专题网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
SpringBoot连接Hive实现自助取数的示例
weixin_51495453的博客
01-07 521
公司运营免不了让我们数据做一些临时取数，这些取数有时候是重复的，或者可以做成可配置的。需要开发成界面，供他们选择，自然想到SpringBoot连接Hive，可以把取数做成一键生成，或者让他们自己写sql，通常大多人是不会sql的。 1. 需要的依赖配置 为了节省篇幅，这里给出hiveserver2方式连接hive主要的maven依赖，父工程springboot依赖省略。 <!-- 版本信息 --> <properties> <hadoop.version>2.6.5&l
springboot 集成hive
胡八一的博客
07-08 3591
springboot 集成hive
springboot基于hive旅游数据的分析与应用-可视化大屏展示
weixin 346127357的博客
03-14 674
一、项目介绍系统阐述的是使用基于hive旅游数据的分析与应用系统，对于Java、B/S结构、MySql进行了较为深入的学习与应用。主要针对系统的设计，描述，实现和分析与测试方面来表明开发的过程。开发中使用了springboot框架和MySql数据库技术搭建系统的整体架构。利用这些技术结合实际需求开发了具有个人中心、用户管理、旅游数据管理、地名管理、系统管理等功能的系统，最后对系统进行相应的测试，测试系统有无存在问题以及测试用户权限来优化系统，最后系统达到预期目标。关键字：旅游数据；Java；
SpringBoot工程通过jdbc连接Hive
qq_39652397的博客
05-10 2697
首先确定当前hive的版本 例如：我目前的版本就是 hive-common-1.1.0-cdh5.16.2.jar 注意：引入的Hive-jdbc依赖需与Hive版本保持一致。 依次对应hive-common-1.1.0引入的Hive-jdbc版本为1.1.0(其中排除log4j依赖是为了解决原工程引入Hive依赖后导致日志不输出问题) <dependency> <groupId>org.apache.hive</groupId&g
springboot 集成 Hive
07-28
要在Spring Boot中集成Hive，您需要遵循以下步骤： 1. 添加Hive依赖：在您的`pom.xml`文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>3.1.2</version> </dependency> ``` 2. 配置Hive连接：在`application.properties`或`application.yml`文件中添加Hive连接配置，例如： ```properties spring.datasource.url=jdbc:hive2://localhost:10000/default spring.datasource.username=hive spring.datasource.password=password ``` 3. 创建HiveTemplate Bean：在您的配置类中创建HiveTemplate Bean，例如： ```java @Configuration public class HiveConfig { @Value("${spring.datasource.url}") private String hiveUrl; @Value("${spring.datasource.username}") private String hiveUsername; @Value("${spring.datasource.password}") private String hivePassword; @Bean public HiveTemplate hiveTemplate() { return new HiveTemplate(new JdbcTemplate(hiveDataSource())); } @Bean public DataSource hiveDataSource() { DriverManagerDataSource dataSource = new DriverManagerDataSource(); dataSource.setDriverClassName("org.apache.hive.jdbc.HiveDriver"); dataSource.setUrl(hiveUrl); dataSource.setUsername(hiveUsername); dataSource.setPassword(hivePassword); return dataSource; } } ``` 4. 使用HiveTemplate执行查询：在您的服务类中注入HiveTemplate，并使用它执行Hive查询，例如： ```java @Service public class HiveService { private final HiveTemplate hiveTemplate; public HiveService(HiveTemplate hiveTemplate) { this.hiveTemplate = hiveTemplate; } public List<Map<String, Object>> executeHiveQuery(String query) { return hiveTemplate.queryForList(query); } } ``` 这样，您就可以在Spring Boot应用程序中集成Hive，并使用HiveTemplate执行Hive查询了。请确保在运行应用程序之前，您已经启动了Hive服务。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值