Hive(二)Hive中的表

本文详细介绍了Hive中数据的存储位置,包括数据仓库默认配置、内部表与外部表的区别以及分库表和分桶表的概念。Hive的数据存储在HDFS中,可通过元数据查看具体位置。内部表在删除时会删除数据,而外部表仅删除元数据,数据保留。分库表和分桶表则用于提高查询效率,通过分区和分桶策略减少扫描量。
摘要由CSDN通过智能技术生成

参考文章:
Hive(9) hive的分区表、外部分区表、分桶表

数据都放到哪里了?

既然Hive相当于一个连接数据与MR的接口,那数据都在哪里呢?
答案是存放在HDFS中啦。我们创建的,读取的数据都是从HDFS中来的。

查看我们所有数据所在的位置:通过登录mysql中存储的元数据进行查看。
在这里插入图片描述
从上图可以看到我们之前创建的数据实际存储在下面的HDFS的URL之中。

hdfs://node01:8020/user/hive/warehouse/myhive.db

数据仓库默认位置配置及库表关系

转载自:https://blog.csdn.net/qq_39954916/article/details/105197541

1、原始位置的默认配置

hive中的Default(默认)数据仓库的最原始位置是在hdfs上的 /user/hive/warehouse(以下默认Hive的HDFS根目录为/user/hive)路径下,这个原始位置是本地的/usr/local/hive/conf/hive-default.xml.template文件默认配置的,

2、库表关系

1)默认情况下:

在hdfs目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹。

下图中abc,bonus,department,dept,emp为缺省库default下的几张表,目录名与表名一致。

2)指定库情况下

如果创建了数据库,并指定表为该库下的表,Hive会在/user/hive/warehouse/下创建一个以库名命名的目录(如上图的a.db,b.db分别代表数据库a,b),该库的表目录在库目录下。

3)制定分区的情况下:

如果为表设定了分区,则会在表目录下增加分区目录,目录名以“分区键名=分区值”的形式命名。如下图,表dept1中,设置了v1和v2两个名为a的分区。

3、修改数据仓库的原始位置只需在hive-site.xml自定

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在MySQL上读取Hive可以通过使用Hive的JDBC驱动程序来实现。以下是一些基本步骤: 1. 在MySQL上安装Hive JDBC驱动程序。 2. 创建一个新的MySQL数据库,并为它创建一个新的,该将存储从Hive检索的数据。 3. 在MySQL使用JDBC连接到Hive,执行SQL查询来检索数据。 4. 将检索到的数据插入到MySQL。 以下是一个示例Java代码片段,演示如何使用JDBC从Hive检索数据并将其插入到MySQL: ``` import java.sql.*; public class HiveToMySQL { public static void main(String[] args) { Connection hiveConn = null; Connection mysqlConn = null; Statement hiveStmt = null; Statement mysqlStmt = null; ResultSet rs = null; try { // Connect to Hive using JDBC Class.forName("org.apache.hive.jdbc.HiveDriver"); hiveConn = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "", ""); // Connect to MySQL using JDBC Class.forName("com.mysql.jdbc.Driver"); mysqlConn = DriverManager.getConnection("jdbc:mysql://localhost/mydatabase", "user", "password"); // Execute the Hive query to retrieve data hiveStmt = hiveConn.createStatement(); rs = hiveStmt.executeQuery("SELECT * FROM myhiveTable"); // Insert the retrieved data into MySQL table mysqlStmt = mysqlConn.createStatement(); while (rs.next()) { int id = rs.getInt("id"); String name = rs.getString("name"); mysqlStmt.executeUpdate("INSERT INTO mymysqlTable VALUES (" + id + ", '" + name + "')"); } } catch (Exception e) { e.printStackTrace(); } finally { try { if (rs != null) rs.close(); if (hiveStmt != null) hiveStmt.close(); if (hiveConn != null) hiveConn.close(); if (mysqlStmt != null) mysqlStmt.close(); if (mysqlConn != null) mysqlConn.close(); } catch (Exception e) { e.printStackTrace(); } } } } ``` 请注意,此示例代码仅用于演示目的,实际代码可能需要进行一些修改以适应您的环境和需求。另外,确保在执行此操作之前对您的环境进行适当的测试和验证。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值