大数据Hive ACID及类似产品

Hive3.0后默认建立的表为事务表，支持update, merge对数据进行更新处理。下面是示例，可以看到参数'transactional'='true'。

0: jdbc:hive2://node3:2181,node4:2181,node2:2> show create table yah_test;
+----------------------------------------------------+
|                   createtab_stmt                   |
+----------------------------------------------------+
| CREATE TABLE `yah_test`(                           |
|   `id` int,                                        |
|   `name` string,                                   |
|   `age` int,                                       |
|   `datetime` timestamp,                            |
|   `at` bigint,                                     |
|   `ate` string)                                    |
| ROW FORMAT SERDE                                   |
|   'org.apache.hadoop.hive.ql.io.orc.OrcSerde'      |
| WITH SERDEPROPERTIES (                             |
|   'field.delim'='',                               |
|   'serialization.format'='')                      |
| STORED AS INPUTFORMAT                              |
|   'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'  |
| OUTPUTFORMAT                                       |
|   'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' |
| LOCATION                                           |
|   'hdfs://tpbigdata/warehouse/tablespace/managed/hive/warehouse.db/yah_test' |
| TBLPROPERTIES (                                    |
|   'bucketing_version'='2',                         |
|   'last_modified_by'='hive',                       |
|   'last_modified_time'='1621475554',               |
|   'orc.compress'='snappy',                         |
|   'serialization.encoding'='utf-8',                |
|   'transactional'='true',                          |
|   'transactional_properties'='default',            |
|   'transient_lastDdlTime'='1621475712')            |
+----------------------------------------------------+
27 rows selected (0.154 seconds)

Hive3之后数据的存储目录结构也进行了相应的调整：

[root@node2 ~]# hdfs dfs -ls /warehouse/tablespace
Found 2 items
drwxr-xr-x   - hdfs hdfs          0 2020-08-27 16:48 /warehouse/tablespace/external
drwxr-xr-x   - hdfs hdfs          0 2020-08-27 16:48 /warehouse/tablespace/managed

许多开源项目都在解决多版本并发控制(MVCC, multi-version concurrency)以及对数据湖中的数据进行事务更新和删除。比较突出的几个产品包括：

 我们按照以下不同的维度对他们进行对比，但没有特定的顺序：

1.Support for updates and deletes

2.Support for compaction and cleanup

3.Support for Parquet and ORC formats

4.Support for Hive, Spark, and Presto

5.Support for SQL DML statements

6.Write amplification

7.Open source governance

下图总结了截至到2019年9月的一些对比，红色部分代表它们有一些问题，绿色部分则代表它们比较有优势。

通过上表，你可以发现如果要支持所有的特性，对Hive的改动会最小，具体来说只需要：

• 增加Presto和Spark对Hive ACID的读/写支持；
• 增加Hive ACID支持Parquet文件格式的更新/删除。