Doris数据更新及删除

最新推荐文章于 2024-10-21 17:18:58 发布
最新推荐文章于 2024-10-21 17:18:58 发布
阅读量1.6w 收藏 18
点赞数 3
分类专栏： Doris 文章标签： 数据库 database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hf200012/article/details/119272391
版权

  Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星
 

1.数据更新

Doris中存储的数据都是以追加（Append）的方式进入系统，这意味着所有已写入的数据是不可变更的。

所以 Doris采用标记的方式来实现数据更新的目的。即在一批更新数据中，将之前的数据标记为删除，并写入新的数据。

在读取过程中，Doris会自动处理这些标记数据（Merge-on-Read），保证用户读取到的是最新的数据。同时，Doris后台的数据合并（Compaction）线程也会不断的对数据进行合并，消除标记数据，以减少在读取过程中需要进行的合并操作，加速查询。

大部分对数据修改的场景仅适用于 Unique Key 数据模型，因为只有该模型可以保证主键的唯一性，从而支持按主键对数据进行更新。

本文档主要介绍如何使用 Unique Key 数据模型来进行数据更新操作。

数据更新

关于 UNIQUE KEY 的说明，请参阅相关文档。这里不再赘述。下面仅举例说明。

  1. 创建一张 UNIQUE KEY 模型的表

     CREATE TABLE order_table
 (
     order_id BIGINT,
     order_type VARCHAR(8),
     order_status VARCHAR(32)
 )
 UNIQUE KEY(order_id)
 DISTRIBUTED BY HASH(order_id) BUCKETS 8;

  2. 导入第一批数据

     1000, TYPE#1, PAID
 1001, TYPE#2, PENDING
 1002, TYPE#3, PAID

  3. 将 ID 为 1001 的订单条目的 order_status 字段修改为 PAID，则需导入以下数据：

     1001, TYPE#2, PAID

    Doris会根据主键 1001，则读取或者后台合并过程中，将这个条目的 order_status 字段替换为 PAID。

更新部分字段

在上一个例子中，我们仅需要更新 order_status 字段，但是导入的数据中却需要包含 order_type 字段。

在某些场景下，用户无法获取全列数据，仅知道主键和部分要更新的字段的值。在这种情况下，我们可以通过 REPLACE_IF_NOT_NULL 这种聚合方式来实现。

UNIQUE_KEY 模型本质上是聚合模型的一种，其在非主键列上的聚合类型默认为 REPLACE。而 REPLACE_IF_NOT_NULL 的则表示，当遇到 null 值则不更新。举例如下：

  1. 创建一张 UNIQUE KEY 模型的表，使用 REPLACE_IF_NOT_NULL 方式。

     CREATE TABLE order_table
 (
     order_id BIGINT,
     order_type VARCHAR(8),
     order_status VARCHAR(32)
 )
 UNIQUE KEY(order_id)
 DISTRIBUTED BY HASH(order_id) BUCKETS 8
 PROPERTIES
 (
     "replace_if_not_null" = "true"
 );

  2. 导入第一批数据

     1000, TYPE#1, PAID
 1001, TYPE#2, PENDING
 1002, TYPE#3, PAID

  3. 将 ID 为 1001 的订单条目的 order_status 字段修改为 PAID，则需导入以下数据：

     1001, \N, PAID

    原始数据中的 \N 即表示 null。Doris会根据主键 1001，则读取或者后台合并过程中，将这个条目的 order_status 字段替换为 PAID。并且因为 order_type 字段为 null，所以该字段不会被替换。

更新顺序

Doris内部仅能够保证两个批次的导入数据中，后一批次的数据覆盖更新前一批次的数据。但是如果在同一批次数据中，如果出现主键相同的多行记录，Doris是无法识别哪一条才是最终生效数据的。

假设某一批次的导入数据如下：

 1000, TYPE#1, PENDING
 1001, TYPE#2, PENDING
 1000, TYPE#3, PAID

注意第一行和第三行主键相同，因此无法确定哪一条会生效，用户最终查询 1000 这个订单的状态，可能为 PENDING，也可能为 PAID。

要解决这个问题，需要业务侧保证在同一批次数据中，没有主键相同的行。或者需参考 Sequence Column 对数据进行适配。

数据删除

Doris中的数据删除有以下几种方式：

  • TRUNCATE，该命令用于直接清空表或分区，但不会删除对应的元数据。操作代价较低，再有清空数据需求时，建议使用。

  • DROP，删除表或分区，会同时删除数据和元数据。

  • DELETE，Delete 语句用于按条件删除数据，具体说明见本文档按条件删除一节。

  • MARK DELETE，Mark Delete 功能对数据进行按行删除，具体说明见本文档标记删除一节。

本文档主要介绍 DELETE 和 BATCH DELETE 两种方式，其他方式可参阅对应的命令文档。

按条件删除

使用 DELETE 命令可以按条件删除数据。具体说明请参阅 DELETE 命令文档。下面通过示例说明：

 DELETE FROM example_table WHERE event_day < 20201001 AND event_key != 1000;
 ​
 DELETE FROM example_table PARTITION p202010 WHERE event_key in (1000, 1001, 1002, 1003);

DELETE 命令是一个同步命令，返回成功即代表删除成功。

用户可以通过以下命令查看历史的 DELETE 操作记录：

mysql> SHOW DELETE FROM example_db;
+-----------+---------------+---------------------+-----------------+----------+
| TableName | PartitionName | CreateTime          | DeleteCondition | State    |
+-----------+---------------+---------------------+-----------------+----------+
| empty_tbl | p3            | 2020-04-15 23:09:35 | k1 EQ "1"       | FINISHED |
| test_tbl  | p4            | 2020-04-15 23:09:53 | k1 GT "80"      | FINISHED |
+-----------+---------------+---------------------+-----------------+----------+
2 rows in set (0.00 sec)

具体说明，可参阅 SHOW DELETE 命令文档。

注意事项

  • DELETE 命令不适用于高频的删除操作，比如短时间内发送大量的 DELETE 命令，会严重影响底层数据合并效率以及查询效率。因为DELETE 操作本质上是存储了一个删除条件，在查询时会对每一行记录应用这个删除条件做过滤，因此当有大量删除条件时，查询效率就会降低。

  • 尽量避免使用 DELETE-LOAD-DELETE-LOAD 这种交替执行的使用模式，这种模式对底层的数据合并策略非常不友好，可能会导致大量的数据未合并，导致积压。

标记删除

标记删除功能主要用于解决一些需要实时更新同步的场景。比如 同步MySQL的Binlog 数据。该方式只能应用于 UNIQUE KEY 模型的表上。具体说明，请参阅 MARK DELETE 文档。

2.标记删除

标记删除功能是对 DELETE 语句删除功能的一种补充。使用 DELETE 语句对数据删除，无法支持高频操作场景。

另外，类似于CDC（Change Data Capture）场景中，INSERT 和 DELETE 一般是穿插出现的。

标记删除功能就是为了支持以上两种场景而做的功能。

实现原理

标记删除功能仅适用于 UNIQUE KEY 模型的表。其原理是在表中增加了一个隐藏列 __DELETE_SIGN__。该列值为 true，则表示该行为一个删除操作，如果为 false，则表示该行是一个插入操作。该隐藏列的只需要用户在导入数据中添加。

假设表结构如下：

列名主键
order_idYes
order_typeNo
order_statusNo

我们插入以下三行数据：

1000, TYPE#1, PENDING, false
1001, TYPE#2, PENDING, false
1002, TYPE#3, PENDING, false

其中第四列均为false，即表示这三行都是插入操作。执行后，查询结果为：

order_idorder_typeorder_status
1000TYPE#1PENDING
1001TYPE#2PENDING
1002TYPE#3PENDING

接下来我们再导入两行数据：

1001, TYPE#2, PENDING, true
1002, TYPE#3, PAID, false

第一行是一个删除操作，是将 1001 这个订单id对应的数据删除（TYPE#2, PENDING 两个值在这行数据中无意义，可以随意填写，但必须填写以保证列数匹配）。

第二行是一个插入操作，相当于将 1002 这个订单的状态更新为 PAID。

执行后，查询结果为：

order_idorder_typeorder_status
1000TYPE#1PENDING
1002TYPE#3PAID

由以上示例可以看出，配合 UNIQUE KEY 模型，可以实现按主键的更新或删除操作。当需要删除时，需要将对应的隐藏列设为 true。而当隐藏列是false时，则操作类似于 UPSERT 操作，即有则更新，无则插入。

启用标记删除功能

标记删除功能是 Doris3.10 版本之后引入的新功能。

在新版本中创建的 UNIQUE KEY 表默认都包含隐藏列。而在之前版本中创建的 UNIQUE KEY 表并不具有隐藏列。对于老版本的表，可以使用以下方式增加隐藏列：

ALTER TABLE tablename ENABLE FEATURE "BATCH_DELETE";

这个操作本质上是一个 Schema Change 操作，执行后，需通过 SHOW ALTER TABLE COLUMN查看作业执行进度。

如果想确定一个表是否已开启标记删除功能，可以通过 设置一个变量来显示隐藏列

SET show_hidden_columns=true`

之后使用 DESC tablename，如果输出中有 __DELETE_SIGN__ 列，则表示该表已开启标记删除功能。

在导入中使用标记删除功能

在不同的数据导入方式中使用标记删除的方式略有不同。标记删除目前支持以下数据导入方式：

  • STREAM LOAD

  • BROKER LOAD

  • ROUTINE LOAD

在这些导入中使用标记删除功能，都需要添加以下两个属性：

  1. Merge Type

    Merge Type 分为3种，APPEND、DELETE 和 MERGE。默认为 APPEND。

    APPEND 方式和正常导入无异。

    DELETE 方式则表示这一批数据中的每一行都是删除操作。在这种方式下，无需再指定 Delete Label 列。

    MERGE 方式表示这一批数据中混合了插入和删除操作。此时，需要通过指定 Delete Label 列来标识每一行的操作类型。

  2. Delete Label

    Delete Label 用于在 MERGE 方式下，指定数据中的某一列是删除标记列。用户可以指定当这一列为何值时，表示DELETE操作。

具体使用语法请参阅各自的文档，这里仅对不同导入方式进行简单的示例说明。假设原始导入数据如下：

1000,TYPE#1,PENDING,0
1001,TYPE#2,PENDING,0
1002,TYPE#3,PENDING,0
1003,TYPE#2,PENDING,1
1004,TYPE#3,PAID,1

Stream Load

Stream Load 请求如下：

curl --location-trusted -u root \
-H "columns: order_id, order_type, order_status, delete_label" \
-H "merge_type: MERGE" \
-H "delete: delete_label=1" \
-T data.txt http://host:port/api/testDb/testTbl/_stream_load

这个示例表示第四列为 Delete Label 列，并且当值为1时，表示对应行为删除操作。

Broker Load

LOAD LABEL example_db.my_label
(
    MERGE DATA INFILE("hdfs://abc.com:8888/user/palo/test/ml/file1")
    INTO TABLE example_tbl
    COLUMNS TERMINATED BY ","
    (order_id, order_type, order_status, delete_label)
    DELETE ON delete_label=1
)
WITH BROKER 'bos'
(
    ...
);

这个示例表示第四列为 Delete Label 列，并且当值为1时，表示对应行为删除操作。

Routine Load

CREATE ROUTINE LOAD example_db.job1 ON example_tbl
WITH DELETE
COLUMNS(order_id, order_type, order_status, delete_label)
PROPERTIES
(
    "desired_concurrent_number"="3",
    "max_batch_interval" = "20",
    "max_batch_rows" = "300000",
    "max_batch_size" = "209715200",
    "strict_mode" = "false"
)
FROM KAFKA
(
    ...
);

注意这里我们使用的 Merge Type 是 DELETE，因此无需指定 Delete Label，第四列的值不会被使用，所有数据均为删除操作。

注意事项

  1. 因为 Doris无法保证一批次导入数据内部的顺序性，所以在诸如 CDC 等场景下，如需确保数据前后顺序，需配合 Sequence Column功能一起使用。

3.Sequence-Column

UNIQUE KEY模型下，Doris会根据主键自动的进行数据的更新。但是当同一批次导入数据中出现相同主键的行时，Doris无法判断其先后顺序，则可能出现更新行为不一致的问题。

而在某些数据同步场景下，需要保证数据能够按顺序更新，而 Sequence Column 功能就是为了解决这一问题。

实现原理

Sequence Column 仅支持 UNQIUE KEY 模型的表。其原理是在表中增加一个隐藏列 __DORIS_SEQUENCE_COL__ 。该列的类型由用户在建表时指定。

在导入的源数据中，用户需额外增加一个顺序列，其类型为建表时指定的 __DORIS_SEQUENCE_COL__ 的类型。Doris内部会根据这个顺序列的值，决定数据的前后顺序，进行数据更新。

启用 Sequence Column 功能

该功能是 Doris3.10 版本之后引入的新功能。

  1. 创建新表

    在创建表时，我们可以通过如下方式设置 Sequence Column：

    CREATE TABLE order_table
(
    order_id BIGINT,
    order_type VARCHAR(8),
    order_status VARCHAR(32)
)
UNIQUE KEY(order_id)
DISTRIBUTED BY HASH(order_id) BUCKETS 8
PROPERTIES
(
    "function_column.sequence_type" = 'Date'
);

    这里我们在 PROPERTIES 中指定了 Sequence Column 的类型为 Date，即开启了该功能。更多说明，可参阅 CREATE TABLE 命令手册。

  2. 为旧表开启该功能

    对于 3.10 之前版本创建的 UNIQUE KEY 的表，可以通过以下命令开启该功能：

    ALTER TABLE order_table ENABLE FEATURE "SEQUENCE_LOAD"
WITH PROPERTIES ("function_column.sequence_type" = "Date")

    这个操作本质上是一个 Schema Change 操作，执行后，需通过 SHOW ALTER TABLE COLUMN查看作业执行进度。

如果想确定一个表是否已开启标记删除功能，可以通过 设置一个变量来显示隐藏列

SET show_hidden_columns=true`

之后使用 DESC tablename，如果输出中有 __DORIS_SEQUENCE_COL__ 列，则表示该表已开启该功能。

在导入中使用顺序列功能

在不同的数据导入方式中使用的方式略有不同。该功能目前支持以下数据导入方式：

  • STREAM LOAD

  • BROKER LOAD

  • ROUTINE LOAD

具体使用语法请参阅各自的文档，这里仅对不同导入方式进行简单的示例说明。假设原始导入数据如下：

1000,TYPE#1,PENDING,2020-10-01
1001,TYPE#2,PAID,2020-10-02
1002,TYPE#3,PENDING,2020-10-03
1001,TYPE#2,PENDING,2020-10-01
1004,TYPE#3,PAID,2020-10-03

Stream Load

curl --location-trusted -u root \
-H "columns: order_id, order_type, order_status, source_sequence"
-H "function_column.sequence_col: source_sequence" \
-T data.txt http://host:port/api/example_db/order/_stream_load

我们在 Header 的 columns 属性中将第四列命名为 source_sequence，之后在 function_column.sequence_col 属性中将该列设置的顺序列。

这样，源数据中的 1001 这个订单的最终状态将会是 PAID.

Broker Load

LOAD LABEL example_db.label1
(
    DATA INFILE("hdfs://host:port/user/data/*/test.txt")
    INTO TABLE `order`
    COLUMNS TERMINATED BY ","
    (order_id, order_type, order_status, source_sequence)
    ORDER BY source_sequence
)
WITH BROKER 'bos'
(
    ...
);

通过 ORDER BY 子句配置顺序列。

routine load

CREATE ROUTINE LOAD example_db.job_name ON order 
COLUMNS(order_id, order_type, order_status, source_sequence),
ORDER BY source_sequence
PROPERTIES
(
    ...
)
FROM KAFKA
(
    ...
);

通过 ORDER BY 子句配置顺序列。

使用示例

下面以 Stream Load 为例，通过一个实际的示例展示顺序列的使用方式和效果。

  1. 创建支持 Sequence Column 的表

    CREATE TABLE test_table
(
    user_id     BIGINT,
    date        DATE,
    group_id    BIGINT,
    keyword     VARCHAR(128)
)
UNIQUE KEY(user_id, date, group_id)
DISTRIBUTED BY HASH(user_id, date) BUCKETS 10
PROPERTIES
(
    "function_column.sequence_type" = 'Date'
)

    之后我们可以查看到隐藏列：

    mysql> set show_hidden_columns=true;
Query OK, 0 rows affected (0.00 sec)
mysql> desc test_table;
+------------------------+--------------+------+-------+---------+---------+
| Field                  | Type         | Null | Key   | Default | Extra   |
+------------------------+--------------+------+-------+---------+---------+
| user_id                | BIGINT       | Yes  | true  | NULL    |         |
| date                   | DATE         | Yes  | true  | NULL    |         |
| group_id               | BIGINT       | Yes  | true  | NULL    |         |
| keyword                | VARCHAR(128) | Yes  | false | NULL    | REPLACE |
| __DORIS_SEQUENCE_COL__ | DATE         | Yes  | false | NULL    | REPLACE |
+------------------------+--------------+------+-------+---------+---------+
5 rows in set (0.00 sec)

  2. 正常导入数据

    导入如下数据：

    1,2020-02-22,1,2020-02-22,a
1,2020-02-22,1,2020-02-22,b
1,2020-02-22,1,2020-03-05,c
1,2020-02-22,1,2020-02-26,d
1,2020-02-22,1,2020-02-22,e
1,2020-02-22,1,2020-02-22,b

    将 Sequence Column 映射为源数据中的第4列，modify_date 列。

    curl --location-trusted -u root: \
-H "column_separator: ," \
-H "columns: user_id, date, group_id, modify_date, keyword" \
-H "function_column.sequence_col: modify_date" \
-T testData http://host:port/api/test/test_table/_stream_load

    结果为

    mysql> select * from test_table;
+---------+------------+----------+---------+
| user_id | date       | group_id | keyword |
+---------+------------+----------+---------+
|       1 | 2020-02-22 |        1 | c       |
+---------+------------+----------+---------+

    我们也可以查看隐藏列的值：

    mysql> set show_hidden_columns=true;
Query OK, 0 rows affected (0.01 sec)

mysql> select * from test_table;
+---------+------------+----------+---------+------------------------+
| user_id | date       | group_id | keyword | __DORIS_SEQUENCE_COL__ |
+---------+------------+----------+---------+------------------------+
|       1 | 2020-02-22 |        1 | c       | 2020-03-05             |
+---------+------------+----------+---------+------------------------+

    在这次导入中，因 Sequence Column 的值（也就是 modify_date 中的值）中 2020-03-05 为最大值，所以 keyword 列中最终保留了 c。

  3. 替换顺序的保证

    上述步骤完成后，接着导入如下数据：

    1,2020-02-22,1,2020-02-22,a
1,2020-02-22,1,2020-02-23,b

    查询数据

    MySQL [test]> select * from test_table;
+---------+------------+----------+---------+
| user_id | date       | group_id | keyword |
+---------+------------+----------+---------+
|       1 | 2020-02-22 |        1 | c       |
+---------+------------+----------+---------+

    由于新导入的数据的 Sequence Column 都小于表中已有的值，则没有替换发生。

    再尝试导入如下数据：

    1,2020-02-22,1,2020-02-22,a
1,2020-02-22,1,2020-03-23,w

    查询数据：

    MySQL [test]> select * from test_table;
+---------+------------+----------+---------+
| user_id | date       | group_id | keyword |
+---------+------------+----------+---------+
|       1 | 2020-02-22 |        1 | w       |
+---------+------------+----------+---------+

    由于新导入的数据的 Sequence Column 值大于表中的值，所以数据被替换。

hf200012
关注
专栏目录
【大数据】Doris 数据库与表操作语法实战详解
congge_study的博客
10-03 8656
Doris 数据库与表操作语法实战详解
Apache Doris (四十四）： Doris数据更新与删除 - Delete 数据删除
qq_32020645的博客
10-19 757
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Doris 支持通过两种方式对已导入的数据进行删除。一种是通过 DELETE FROM 语句，指定 WHERE 条件对数据进行删除。这种方式比较通用，另一种删除方式仅针对 Unique 主键唯一模型，Doris 内部会通过删除标记位对数据进行最终的物理删除。
Doris 夺命 30 连问！(下)
atbigapp的博客
08-13 1322
30 问最后一篇了，希望这 30 问能解答大家在使用 Apache Doris 或者选择 Apache Doris 的时候产生的各种疑虑。
Doris 数据模型-Aggregate 模型（十）
weixin_46039745的博客
11-22 320
Doris 的数据模型主要分为 3 类：Aggregate、Uniq、Duplicate表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列）。没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的AggregationType 进行聚合。
Apache Doris (四十三）： Doris数据更新与删除 - Update数据更新
qq_32020645的博客
10-18 1120
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。如果我们需要修改或更新Doris中的数据，如何使用UPDATE命令来操作。数据更新对Doris的版本有限制，只能在Doris Version 0.15.x + 才可以使用。，使用场景为：对满足某些条件的行进行修改值或小范围数据更新，待更新的行最好是整个表非常小的一部分。Doris利用查询引擎自身的 where 过滤逻辑，从待更新表中筛选出需要被更新的行。
Apache Doris 数据更新与删除：Update数据更新；Delete数据删除；Sequence 列；批量删除
学亮编程手记
02-12 5197
如果我们需要修改或更新Doris中的数据，如何使用UPDATE命令来操作。数据更新对Doris的版本有限制，只能在Doris Version 0.15.x + 才可以使用。数据更新只能在数据模型的表中执行，使用场景为：对满足某些条件的行进行修改值或小范围数据更新，待更新的行最好是整个表非常小的一部分。
Doris-删除数据（Delete）（二十二）
weixin_46039745的博客
11-27 3430
Doris 目前可以通过两种方式删除数据：DELETE FROM 语句和 ALTER TABLE DROP PARTITION 语句。
Apache Doris 入门教程19：数据更新及删除
sunjian286的专栏
08-01 3943
本文简要介绍如何在Apache Doris中进行数据更新及删除操作
Doris 的批量更新
howard_shooter的博客
08-17 2990
2、更新操作，底层实现，就是先把新数据生成并写入新的segment文件，旧数据的segment文件不会修改，但是其中被更新的记录会被标记删除，每个segment有一个deletebitmap对象标记哪些记录被删除，deletebitmap不存储在segment文件中，而是存储在同一个BE节点的rocksdb中，这是个内嵌在BE代码中的key-value数据库，可见，更新时，旧的数据文件不会被修改，只是增加新的segment文件和deletebitmap信息，效率是很高的。
Doris 数据集成 Apache Hudi
热门推荐
08-06 1万+
对于 Hudi COW 表的查询或者 MOR 表的 Read Optimized 查询而言，其数据都属于基线数据，可直接通过 Doris 原生的 Parquet Reader 读取数据文件，且可获得极速的查询响应。作为一种全新的开放式的数据管理架构，湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。语句来查看一个下方示例的查询中，分别有多少基线数据和增量数据。
Apache Doris (四十六）： Doris数据更新与删除 - 批量删除
qq_32020645的博客
10-23 586
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。对于数据的删除目前只能通过delete语句进行删除，使用delete 语句的方式删除时，每执行一次delete 都会生成一个新的数据版本，如果频繁删除会严重影响查询性能，并且在使用delete方式删除时，是通过生成一个空的rowset来记录删除条件实现，每次读取都要对删除条件进行过滤，同样在条件较多时会对性能造成影响。我们可以使用批量删除方式来解决以上问题，
Doris（9）：删除数据（Delete）
u013938578的博客
04-19 6510
Delete不同于其他导入方式，它是一个同步过程。和Insert into相似，所有的Delete操作在Doris中是一个独立的导入作业，一般Delete语句需要指定表和分区以及删除的条件来筛选要删除的数据。删除 my_table partition p1 中 k1 列值大于等于 3 且 k2 列值为 "abc" 的数据行。
大数据Doris（三十）：删除数据（Delete）
Lansonli（蓝深李）的博客
11-27 2925
命令可以很轻量的完成数据删除工作。并且该命令不受 load 以及任何其他操作的限制，同时不会影响查询效率。该命令是同步命令，执行成功即生效。而后台数据真正删除的时间可能会延迟10分钟左右。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。📢本文由 Lansonli 原创，首发于 CSDN博客🙉。语句类似标准 delete 语法，具体使用可以查看。是逻辑上最小的数据管理单元，所以使用。该命令可以直接删除指定的分区。
Doris DUPLICATE KEY数据更新&覆盖方案
wangleigiser的博客
12-05 1979
因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。
doris主键模型的 Update 更新
最新发布
学亮编程手记
10-21 493
再利用 Unique 模型自带的 Value 列新数据替换旧数据的逻辑，将待更新的行变更后，再重新插入到表中，从而实现行级别更新。这时候，用户点击付款后，Doris 系统需要将订单 id 为 ‘1’ 的订单状态变更为 ‘待发货’，就需要用到 Update 功能。假设 Doris 中存在一张订单表，其中订单 id 是 Key 列，订单状态，订单金额是 Value 列。Update 语法在 Doris 中是一个同步语法，即 Update 语句执行成功，更新操作也就完成了，数据是可见的。
Doris 0.14.7 版本发布啦
qq_31866793的博客
04-08 1016
Doris 0.14.7 版本发布啦！ 作为 Apache Doris 社区的主要维护团队，百度Doris团队也同时维护了基于 Apache Doris 官方 Release 版本的3 位迭代版本(tags)。包括快速的 Bug 修复和新功能更新。 这些 3 位迭代版本都在百度内部进行过测试和上线，推荐使用。 点击文末原文链接可以前往下载。 Change Log 0.14.7版本是继0.14版本发布以来的第一个三位迭代版本。 新增功能我们会在之后的公众号文章中逐一详细介绍。 ...
Apache Doris 升级手册
锋哥聊DORIS数仓
09-18 919
Apache Doris 可以通过滚动升级的方式，平滑进行升级。升级顺序是先升级BE，再升级FE，不能颠倒升级顺序。Doris保证BE向后兼容FE。 升级的过程可以分为： 测试 Doris BE 升级的正确性， 测试 Doris FE 元数据兼容， 滚动升级 观察升级后的集群服务 注： 1.为了保证在集群升级过程中，Doris服务是可用的，建议Doris集群 在高可用部署的情况下进行。即数据 3 副本，FE 高可用情况下。 2.Doris 不支持跨两位版本升级，比如你现在使用的是0.12.x版本，
doris数据批量写入数据存在执行更新不存在执行插入
qq_37158147的博客
09-08 1531
doris数据批量写入数据存在执行更新不存在执行插入
Apache Doris 系列： 基础篇-单独更新一列
修破立生
01-10 2184
本文举例说明Apache Doris如何实现单独更新一列，数据表使用 Aggregate 聚合模型。需要更新的字段使用关键字REPLACE_IF_NOT_NULL。
doris删除表数据
12-21
Doris可以通过两种方式删除表数据：使用DELETE FROM语句和使用ALTER TABLE DROP PARTITION语句。 1. 使用DELETE FROM语句删除表数据： ```sql DELETE FROM table_name WHERE condition; ``` 其中，table_name是要删除数据的表名，condition是删除数据的条件。如果不指定条件，则会删除表中的所有数据。 2. 使用ALTER TABLE DROP PARTITION语句删除表数据： ```sql ALTER TABLE table_name DROP PARTITION partition_name; ``` 其中，table_name是要删除数据的表名，partition_name是要删除的分区名。这种方式适用于分区表，可以删除指定分区中的数据。 需要注意的是，由于Doris的删除目前是逻辑删除，所以无论使用哪种方式删除数据，都不会影响affected rows的值，它恒为0。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值