增删改查功能怎么实现_Hive 实现增删改功能探索

Hive 不支持数据的update 和 delete, 有什么方法可以实现关系型数据库的增删改查功能,下面是自己的一点探索

主要从两个方面着手: 一是数据怎么存储? 二是数据怎么查询?

存储: 设置2层动态分区, record 的create_time 转换成day 作为第一层分区 和 record 更新记录标识flag作为第二层记录 (N-表示新记录, U-表示更新记录, D- 表示删除记录)

例如 一张 用户购买记录表test_user, 字段如下:

(其中 day和f 表示分区字段)

假设 2019-01-01 有3条用户记录, 模拟数据生成的SQL 如下

生成数据如下

当在 2019-01-02 时间, 用户01 的金额 发生了变化 由 100 变成 150 模拟数据生成的SQL 如下

假设 flag 已经处理成u

这时候 test_user 表 数据 变成如下:

当在 2019-01-02 时间, 用户02 的金额 发生了变化 由 200 变成 250, 用户03 的记录删除了 模拟数据生成的SQL 如下

这时候 test_user 表 数据 变成如下:

现在要展示 用户 1,2,3 他们最终的状态, 查询SQL的写法

结果如下: