hive库操作示例
1、常规表
创建数据库
CREATE DATABASE mydatabase;
使用数据库
USE mydatabase;
创建表
CREATE TABLE mytable (
id INT,
name STRING,
age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
插入数据
INSERT INTO TABLE mytable VALUES (1, 'John', 25);
INSERT INTO TABLE mytable VALUES (2, 'Alice', 30);
插入报错
[42000][10797] COMPILE FAILED: Semantic error: [Error 10797] Only allow to single insert into Hyperbase/ES/Transaction Orc
单行插入同样报错，下述分区表、分桶表均存在相同报错；
正确插入示例
INSERT INTO TABLE mytable
SELECT * FROM(VALUES(1, 'John', 25),(2, 'Alice', 30)) AS (id, name,age)
查询数据
SELECT * FROM mytable;
更新数据
UPDATE mytable SET age = 26 WHERE id = 1;
删除数据
DELETE FROM mytable WHERE id = 2;
更新删除报错
COMPILE FAILED: Semantic error[40005]: Update/Delete/Merge operations cannot apply on views or non-transactional inceptor tables
更新/删除操作
创建临时表
创建新的空白表，用于存储更新后的数据。
CREATE TABLE newtable (
id INT,
name STRING,
age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
插入数据至临时表
使用INSERT OVERWRITE语句将更新后的数据插入到新表中。
INSERT OVERWRITE TABLE newtable
SELECT id, name, CASE WHEN id = 1 THEN 26 ELSE age END AS age
FROM mytable;
临时表重命名
如果需要，可以将新表重命名为原始表的名称。
ALTER TABLE newtable RENAME TO mytable;
删除表
DROP TABLE mytable;
2、分区表
创建分区表
首先，我们需要创建一个分区表。以下是一个创建分区表的示例：
CREATE TABLE my_table (
col1 INT,
col2 STRING
)
PARTITIONED BY (partition_col INT, partition_key STRING);
上述示例创建了一个名为
my_table的表，它有两列col1和col2，并且定义了两个分区列partition_col和partition_key。
添加分区表数据
接下来，我们需要向分区表中添加数据。以下是向分区表添加数据的示例：
INSERT INTO TABLE my_table PARTITION (partition_col=1, partition_key='key1') VALUES (10, 'value1');
INSERT INTO TABLE my_table PARTITION (partition_col=2, partition_key='key2') VALUES (20, 'value2');
上述示例向
my_table表的两个分区中插入了数据。
删除分区
如果你想删除分区，可以使用以下语法：
ALTER TABLE my_table DROP PARTITION (partition_col=1, partition_key='key1');
上述示例删除了
my_table表中的一个特定分区。
查询分区表
要查询分区表，可以使用带有
WHERE子句的SELECT语句来过滤特定的分区。例如：
SELECT * FROM my_table WHERE partition_col = 2;
上述示例将返回
my_table表中partition_col为2的所有数据。
关于更新、删除
如果你使用的是
Hyperbase、ES或Transaction Orc存储引擎，你将无法直接执行更新和删除操作。这些存储引擎主要用于高性能的数据写入，并且对数据的修改操作是受限的。
如果你需要更新或删除数据，你可能需要考虑使用其他类型的存储引擎，比如传统的关系型数据库（如
MySQL、PostgreSQL）或类似Hive的数据仓库。
分区表数据插入
正确插入示例
INSERT INTO TABLE my_table
PARTITION (partition_col=1, partition_key=‘key1’)
SELECT * FROM (VALUES (10, ‘value1’)) AS t (col1, col2);
3、分桶表
单从概念上理解分桶表可能会比较晦涩，其实和分区一样，分桶这个概念同样不是
Hive独有的，对于Java开发人员而言，这可能是一个每天都会用到的概念，因为Hive中的分桶概念和Java数据结构中的HashMap的分桶概念是一致的。
方案一
创建分桶表
SET transaction.type=inceptor;
CREATE TABLE student (name STRING,age INT)CLUSTERED BY (age)INTO 100 BUCKETS STORED AS ORC
TBLPROPERTIES ("transactional"="true");
数据插入
INSERT INTO student(name,age) VALUES ('xiaoming', 12);
方案二
创建分桶表
CREATE TABLE student (name STRING,age INT)CLUSTERED BY (age)INTO 100 BUCKETS;
数据插入
INSERT INTO student
SELECT * FROM (VALUES ('xiaofang', 12)) AS t (col1, col2);
多条插入
INSERT INTO student
SELECT * FROM (VALUES ('xiaofang', 12),('xiaoguang', 13)) AS t (col1, col2);
分桶表数据删除
创建一个临时表，用于存储保留的分桶数据
CREATE TABLE temp_table AS SELECT * FROM my_bucketed_table WHERE bucket_id <> 12;
-- 此处的 bucket_id 指代 `age`
删除原始的分桶表
DROP TABLE my_bucketed_table;
将临时表重命名为原始的分桶表
ALTER TABLE temp_table RENAME TO my_bucketed_table;
4、java客户端采用jdbc操作hive库
代码示例
package com.xxx.demo;
import java.sql.*;
public class HiveExample {
// Hive连接信息
private static final String HIVE_DRIVER = "org.apache.hive.jdbc.HiveDriver";
private static final String HIVE_URL = "jdbc:hive2://localhost:10000/default"; // default -> your_database_name
private static final String HIVE_USER = "your_username";
private static final String HIVE_PASSWORD = "your_password";
// 查询示例
public static void selectExample() {
try {
// 加载Hive驱动类
Class.forName(HIVE_DRIVER);
// 建立Hive连接
Connection conn = DriverManager.getConnection(HIVE_URL, HIVE_USER, HIVE_PASSWORD);
// 创建Statement
Statement stmt = conn.createStatement();
// 执行查询语句
String sql = "SELECT * FROM your_table";
ResultSet rs = stmt.executeQuery(sql);
// 处理查询结果
while (rs.next()) {
// 根据列名获取字段值，例如：
String column1Value = rs.getString("column1");
int column2Value = rs.getInt("column2");
// 其他字段依此类推
System.out.println(column1Value + ", " + column2Value);
}
// 关闭连接和释放资源
rs.close();
stmt.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
// 插入示例
public static void insertExample() {
try {
// 加载Hive驱动类
Class.forName(HIVE_DRIVER);
// 建立Hive连接
Connection conn = DriverManager.getConnection(HIVE_URL, HIVE_USER, HIVE_PASSWORD);
// 创建PreparedStatement
String sql = "INSERT INTO your_table SELECT * FROM (VALUES" + " (?, ?))";
PreparedStatement pstmt = conn.prepareStatement(sql);
// 设置参数
pstmt.setString(1, "value1");
pstmt.setInt(2, 123);
// 其他参数依此类推
// 执行插入操作
pstmt.executeUpdate();
// 关闭连接和释放资源
pstmt.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
// 更新示例
public static void updateExample() {
try {
// 加载Hive驱动类
Class.forName(HIVE_DRIVER);
// 建立Hive连接
Connection conn = DriverManager.getConnection(HIVE_URL, HIVE_USER, HIVE_PASSWORD);
// 创建Statement
Statement stmt = conn.createStatement();
// 执行更新语句
String sql = "UPDATE your_table SET column1 = 'new_value' WHERE condition";
int rowsAffected = stmt.executeUpdate(sql);
System.out.println("Rows affected: " + rowsAffected);
// 关闭连接和释放资源
stmt.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
// 删除示例
public static void deleteExample() {
try {
// 加载Hive驱动类
Class.forName(HIVE_DRIVER);
// 建立Hive连接
Connection conn = DriverManager.getConnection(HIVE_URL, HIVE_USER, HIVE_PASSWORD);
// 创建Statement
Statement stmt = conn.createStatement();
// 执行删除语句
String sql = "DELETE FROM your_table WHERE condition";
int rowsAffected = stmt.executeUpdate(sql);
System.out.println("Rows affected: " + rowsAffected);
// 关闭连接和释放资源
stmt.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
selectExample();
insertExample();
updateExample();
deleteExample();
}
}
3221
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
