java操作hive数据库，建表

最新推荐文章于 2024-04-27 09:13:51 发布
最新推荐文章于 2024-04-27 09:13:51 发布
阅读量424 收藏 2
点赞数 1
文章标签： java hive 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qqnbsp/article/details/134174187
版权 
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-common</artifactId>
	<version>3.3.4</version>
</dependency>

<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-auth</artifactId>
	<version>3.3.4</version>
</dependency>

<dependency>
	<groupId>org.apache.hive</groupId>
	<artifactId>hive-jdbc</artifactId>
	<version>3.1.3</version> <!-- 请检查是否有更新的版本 -->
	<exclusions>
		<exclusion>
			<groupId>org.eclipse.jetty</groupId>
			<artifactId>jetty-runner</artifactId>
		</exclusion>
	</exclusions>
</dependency>

kerberos登陆的工具类，在hive hdfs等认证均可使用。

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.HadoopKerberosName;
import org.apache.hadoop.security.UserGroupInformation;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.File;
import java.io.IOException;

public class KerberosUtil {

    private static Logger logger = LoggerFactory.getLogger(KerberosUtil.class);

    public static boolean loginKerberos(
            org.apache.hadoop.conf.Configuration config,
            String keytabPrincipal,
            File keytabFile,
            File krb5Conf,
            File coreSiteConfig,
            File hdfsSiteConfig) {

        config.addResource(new Path(coreSiteConfig.getPath()));
        config.addResource(new Path(hdfsSiteConfig.getPath()));

        // Kerberos
        System.setProperty("java.security.krb5.conf", krb5Conf.getPath());
        config.set("kerberos.principal", keytabPrincipal);
        config.set("keytab.file", keytabFile.getPath());

        UserGroupInformation.setConfiguration(config);
        try {
            UserGroupInformation.loginUserFromKeytab(keytabPrincipal, keytabFile.getPath());
            logger.info("UserGroupInformation LoginUser: {}", UserGroupInformation.getLoginUser().getUserName());
            return true;
        } catch (IOException e) {
            logger.error(e.getMessage(), e);
        }
        return false;
    }

    public static void reLoginKerberos() throws IOException {
        UserGroupInformation.getCurrentUser().checkTGTAndReloginFromKeytab();
    }

    public static void reset(){
        UserGroupInformation.setLoginUser(null);
        HadoopKerberosName.setRules(null);
    }

}

不认证登录hive

public String createHiveTable(String[] fields, String dbUrl, DbSchema schema, String tableName, String location, String delimiter){
		try {
			// 加载Hive JDBC驱动
			Class.forName("org.apache.hive.jdbc.HiveDriver");

			Connection connection = DriverManager.getConnection(dbUrl, "", "");
			// 创建与Hive的连接
			//Connection connection = DriverManager.getConnection(dbUrl);
			System.out.println("Connected to Hive");

			// 创建声明对象用于执行SQL语句
			Statement stmt = connection.createStatement();

			// 检查表是否存在
			String checkTableSql = "SHOW TABLES IN " + schema.getSchemaName() + " LIKE '" + tableName + "'";
			ResultSet resultSet = stmt.executeQuery(checkTableSql);
			boolean tableExists = resultSet.next();

			if (!tableExists) {
				String sql = "";
				for(int i = 0; i < fields.length;i++){
					if(!StringUtils.isEmpty(fields[i])){
						if(i != fields.length - 1){
							sql += "  `" + fields[i] + "` string, \n";
						}else {
							sql += "  `" + fields[i] + "` string";
						}
					}
				}
				String locate = "";
				if(!StringUtils.isEmpty(location)){
					locate = "LOCATION \n" +
					"'"+location+"'";
				}
				// 如果表不存在，则创建表
				String createTableSql = "CREATE TABLE `" + schema.getSchemaName() + "`.`" + tableName + "`("+
						  sql +
						")\n" +
						"PARTITIONED BY ( \n" +
						"  `day` string) \n" +
						"ROW FORMAT SERDE \n" +
						"  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' \n" +
						"WITH SERDEPROPERTIES ( \n" +
						"  'field.delim'='" + delimiter + "', \n" +
						"  'serialization.format'='" + delimiter + "', \n" +
						"  'serialization.null.format'='')" +
						"STORED AS INPUTFORMAT \n" +
						"  'org.apache.hadoop.mapred.TextInputFormat' \n" +
						"OUTPUTFORMAT \n" +
						"  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'\n" +
						locate;
				System.out.println(createTableSql);
				// 修改为你要创建的表结构
				stmt.executeUpdate(createTableSql);
				System.out.println("Table created successfully");

				// 创建分区
				// 获取当前日期
				LocalDate currentDate = LocalDate.now();
				// 创建一个DateTimeFormatter对象，用于将日期格式化为天的字符串
				DateTimeFormatter dayFormatter = DateTimeFormatter.ofPattern("yyyyMMdd");
				// 获取最近一周的日期范围
				LocalDate startDate = currentDate.minus(Period.ofDays(1));
				LocalDate endDate = currentDate.plus(Period.ofDays(7));

				// 循环遍历最近一周的日期，并输出天的字符串
				for (LocalDate date = startDate; date.isBefore(endDate.plusDays(1)); date = date.plusDays(1)) {
					String dayString = date.format(dayFormatter);
					String createPartitionSql = "ALTER TABLE `" + schema.getSchemaName() + "`.`" + tableName + "` ADD if not exists PARTITION(day='" + dayString + "')";
					stmt.executeUpdate(createPartitionSql);
				}

			} else {
				System.out.println(tableName + " already exists");
				return "tableExist";
			}

			// 关闭连接和声明对象
			resultSet.close();
			stmt.close();
			connection.close();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
			System.out.println("HiveDriver not found");
			return "failed";
		} catch (SQLException e) {
			e.printStackTrace();
			return "failed";
		}

		return "success";
	}

认证登录hive

public String createHiveTable(String[] fields, String dbUrl, DbSchema schema, String tableName, String location, String delimiter){
		File coreSite = new File("/dataload/collect/core-site.xml");
		File hdfsSite = new File("/dataload/collect/hdfs-site.xml");
		File keytab = new File("/dataload/collect/xxx.keytab");
		File krb5 = new File("/dataload/collect/krb5.conf");
		Configuration conf = new Configuration();
		boolean result = KerberosUtil.loginKerberos(conf, "xxx@DCOM.COM", keytab, krb5, coreSite, hdfsSite);
		System.out.println("kerberos auth result: " + result);

		try {
			// 加载Hive JDBC驱动
			Class.forName("org.apache.hive.jdbc.HiveDriver");

			Connection connection = DriverManager.getConnection(dbUrl, "", "");
			// 创建与Hive的连接
			//Connection connection = DriverManager.getConnection(dbUrl);
			System.out.println("Connected to Hive");

			// 创建声明对象用于执行SQL语句
			Statement stmt = connection.createStatement();

			// 检查表是否存在
			String checkTableSql = "SHOW TABLES IN " + schema.getSchemaName() + " LIKE '" + tableName + "'";
			ResultSet resultSet = stmt.executeQuery(checkTableSql);
			boolean tableExists = resultSet.next();

			if (!tableExists) {
				String sql = "";
				for(int i = 0; i < fields.length;i++){
					if(!StringUtils.isEmpty(fields[i])){
						if(i != fields.length - 1){
							sql += "  `" + fields[i] + "` string, \n";
						}else {
							sql += "  `" + fields[i] + "` string";
						}
					}
				}
				String locate = "";
				if(!StringUtils.isEmpty(location)){
					locate = "LOCATION \n" +
					"'"+location+"'";
				}
				// 如果表不存在，则创建表
				String createTableSql = "CREATE TABLE `" + schema.getSchemaName() + "`.`" + tableName + "`("+
						  sql +
						")\n" +
						"PARTITIONED BY ( \n" +
						"  `day` string) \n" +
						"ROW FORMAT SERDE \n" +
						"  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' \n" +
						"WITH SERDEPROPERTIES ( \n" +
						"  'field.delim'='" + delimiter + "', \n" +
						"  'serialization.format'='" + delimiter + "', \n" +
						"  'serialization.null.format'='')" +
						"STORED AS INPUTFORMAT \n" +
						"  'org.apache.hadoop.mapred.TextInputFormat' \n" +
						"OUTPUTFORMAT \n" +
						"  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'\n" +
						locate;
				System.out.println(createTableSql);
				// 修改为你要创建的表结构
				stmt.executeUpdate(createTableSql);
				System.out.println("Table created successfully");

				// 创建分区
				// 获取当前日期
				LocalDate currentDate = LocalDate.now();
				// 创建一个DateTimeFormatter对象，用于将日期格式化为天的字符串
				DateTimeFormatter dayFormatter = DateTimeFormatter.ofPattern("yyyyMMdd");
				// 获取最近一周的日期范围
				LocalDate startDate = currentDate.minus(Period.ofDays(1));
				LocalDate endDate = currentDate.plus(Period.ofDays(7));

				// 循环遍历最近一周的日期，并输出天的字符串
				for (LocalDate date = startDate; date.isBefore(endDate.plusDays(1)); date = date.plusDays(1)) {
					String dayString = date.format(dayFormatter);
					String createPartitionSql = "ALTER TABLE `" + schema.getSchemaName() + "`.`" + tableName + "` ADD if not exists PARTITION(day='" + dayString + "')";
					stmt.executeUpdate(createPartitionSql);
				}

			} else {
				System.out.println(tableName + " already exists");
				return "tableExist";
			}

			// 关闭连接和声明对象
			resultSet.close();
			stmt.close();
			connection.close();
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
			System.out.println("HiveDriver not found");
			return "failed";
		} catch (SQLException e) {
			e.printStackTrace();
			return "failed";
		}

		return "success";
	}

早退的程序员
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
java操作hive_java操作hive
weixin_32211739的博客
02-20 2641
存储类:package com.rxzx.hive;public class Beacon {private String stime;private String uid;private String sid;private String pid;public String getStime() {return stime;}public void setStime(String stime) ...
12_hadoop三大发行版本
withlw
12-09 331
1、hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hadoop 官网地址：http://hadoop.apache.org/releases.html 下载地址：https://archive.apache.org/dist/hadoop/common/ Cloudera Hadoop 官网
使用javaJDBC连接hive数据，实现简单的操作！
05-27
使用javaJDBC连接hive数据，实现简单的操作！
13、java api访问hive操作示例
热门推荐
alanchanchn的专栏
06-08 2万+
本文依赖hive环境可用，特别是HiveServer2。本文仅仅介绍通过java api访问hive的数据。
java连接hive数据库的demo
10-20
java连接hive数据库的demo
Hive JavaApi调用
qq_56520755的博客
05-08 1117
再启动hive集群hive。
Hive的安装和使用以及Java操作hive
CSDN专家-微编程的博客
12-20 8759
Hive 引言 简介 hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 总结 Hive是一个数据仓库 Hive构建在HDFS上，可以存储海量数据。 Hive
Java 业务开发中常用的 Hive 技巧
a1102325298的博客
06-08 620
时间戳问题 假设我们 mysql 数据库中有张表叫 student ，它有一个字段是 created_at（类型是 long 或 int）。mysql 数据库的 user 表在 hive 中对应的表为 dw_student，dw_student 中 created_at 这个字段对应的类型是 string。这个时候我们在写 hive sql 的时候，如果想比较时间戳，需要把 hive 表中的 created_at 转换为时间戳去比较，否则会查询不到任何数据且不报错。 select * from dw_st
【大数据】Java同学入门Hive编程 —— 简介和入门操作
陌北有棵树的博客
08-23 432
【一】简介 承接上文《Java后端同学入门Spark编程》，对于日常的数据需求来说，熟悉Hive是一项必备的技能，因为很多日常的数据导出是不需要Spark任务的，跑一个HiveQL就可以完成，但秉承着知其然还要知其所以然的目的，我们首先来了解一下Hive相关的知识，然后熟悉一些日常HiveQL中可能用到的函数。 Hive用来作为原始数据和转换后数据的存储，简化ETL。 首先给出官方对于Hive的定...
java根据excel生成 hive建表语句
04-20
java根据excel生成 hive建表语句 可以根据自己的格式修改
java访问hive数据库所需全部jar包
08-27
内网开发的，不使用maven做项目管理的，直接拿来用，包括了所有需要的jar包（如基础包httpclient），hive是1.2版本的
生成hive建表语句
08-24
生成hive建表语句
mybatisPlus使用MetaObjectHandler对字段进行更新
m0_56356631的博客
04-23 371
都是符合我们的预期的。
java方法重写（重点讲），方法重载
最新发布
weixin_46281068的博客
04-27 438
一、方法重载定义：一个类中，出现多个方法的名称相同，但是它们的形参列表是不同的，那么这些方法就称为方法重载了。注意：一个类中，只要一些方法的名称相同、形参列表不同，那么它们就是方法重载了，其它的都不管（如:修饰符，返回值类型是否一样都无所谓）。形参列表不同指的是:形参的个数、类型、顺序不同，不关心形参的名称。应用场景：开发中我们经常需要为处理一类业务，提供多种解决方案，此时用方法重载来设计是很专业的。
string模拟实现
m0_73969414的博客
04-23 1464
c++中string的模拟实现，面试必会知识点
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 630
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
第5 章 Consul服务注册与发现
a13763926743的博客
04-22 768
consul官网地址。
MSE实现全链路灰度实践
云计算、数据库、大数据、深度学习、NLP、Python
04-24 233
待更新。
迭代器模式
LuckFairyLuckBaby的博客
04-23 558
迭代器模式(Iterator),提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象的内部表示。
hivesql建表报错
09-06
2. 元数据服务器配置错误：根据引用中的内容，当Hive执行建表命令时，可能会连接到远程的元数据服务器，而不是默认的本地数据库。如果你的MySQL数据库不在本地，你需要在Hive的配置文件中配置元数据服务器的地址。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

早退的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值