Apache Doris 系列： 基础篇-清理垃圾数据

已于 2023-01-13 16:17:07 修改
阅读量1.2k 收藏
点赞数
分类专栏： Apache Doris 文章标签： apache doris 大数据 big data
于 2023-01-13 16:03:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47298890/article/details/128675645
版权

垃圾数据如何产生

  • delete/drop/truncate等操作只是在逻辑上删除了数据，并没有进行物理删除
  • 数据文件合并完成后没有物理删除旧的数据

清理所有BE节点的垃圾数据

ADMIN CLEAN TRASH;

清理指定BE节点的垃圾数据

ADMIN CLEAN TRASH [ON ("BackendHost1:BackendHeartBeatPort1", "BackendHost2:BackendHeartBeatPort2", ...)];

ADMIN CLEAN TRASH ON ("192.168.56.104:9050");

注意：账户需要有ADMIN权限才能执行以上命令

修破立生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Doris（9）：删除数据（Delete）
u013938578的博客
04-19 6225
Delete不同于其他导入方式，它是一个同步过程。和Insert into相似，所有的Delete操作在Doris中是一个独立的导入作业，一般Delete语句需要指定表和分区以及删除的条件来筛选要删除的数据。删除 my_table partition p1 中 k1 列值大于等于 3 且 k2 列值为 "abc" 的数据行。
大数据Doris（三十）：删除数据（Delete）
Lansonli（蓝深李）的博客
11-27 2168
命令可以很轻量的完成数据删除工作。并且该命令不受 load 以及任何其他操作的限制，同时不会影响查询效率。该命令是同步命令，执行成功即生效。而后台数据真正删除的时间可能会延迟10分钟左右。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。📢本文由 Lansonli 原创，首发于 CSDN博客🙉。语句类似标准 delete 语法，具体使用可以查看。是逻辑上最小的数据管理单元，所以使用。该命令可以直接删除指定的分区。
Apache Doris 系列：清理垃圾数据
eagle89的专栏
05-07 361
Apache Doris 系列：清理垃圾数据
doris删除语句
weixin_49196517的博客
06-01 336
后端
Doris安全删除BE节点
wangqiaowq的博客
08-17 1348
【代码】Doris安全删除BE节点。
Doris系列14-数据导入之批量删除
只是甲的博客
01-11 2722
文章目录一. 批量删除概述1.1 原理1.2 读取1.3 Cumulative Compaction1.4 Base Compaction1.5 语法二. 启用批量删除支持参考: 一. 批量删除概述 目前Doris 支持broker load， routine load， stream load 等多种导入方式，对于数据的删除目前只能通过delete 语句进行删除，使用delete 语句的方式删除时，每执行一次delete 都会生成一个新的数据版本，如果频繁删除会严重影响查询性能，并且在使用delete 方
Apache Doris (四十四）： Doris数据更新与删除 - Delete 数据删除
qq_32020645的博客
10-19 589
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Doris 支持通过两种方式对已导入的数据进行删除。一种是通过 DELETE FROM 语句，指定 WHERE 条件对数据进行删除。这种方式比较通用，另一种删除方式仅针对 Unique 主键唯一模型，Doris 内部会通过删除标记位对数据进行最终的物理删除。
apache-doris-1.0.0-incubating-bin.tar.gz
05-05
Apache Doris（apache-doris-1.0.0-incubating-bin.tar.gz）是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-1.0.0-incubating-src.tar.gz
05-05
Apache Doris源码（apache-doris-1.0.0-incubating-src.tar.gz）是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 ...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
apache-doris-build-env-for-2.0.a
最新发布
06-27
doris 编译镜像 apache-doris-build-env-for-2.0
在大数据(hive/doris)检测源数据中的脏数据和异常数据
linweidong的专栏
06-25 506
创建或使用现有的UDFs（用户自定义函数）：Hive支持Java编写自定义函数，可以用来检测特殊格式的数据错误或执行复杂的数据清洗逻辑。
Apache Doris的数据导入insert、数据删除delete
Bulut0907
08-15 4236
delete是一个同步的操作。需要指定表、分区、删除的条件来筛选要删除的数据，并将会同时删除base表和rollup表的数据。Insert Into命令包含以下两种。其中with label是可选的，默认会自动生成。
Apache Doris 数据更新与删除：Update数据更新；Delete数据删除；Sequence 列；批量删除
学亮编程手记
02-12 3866
如果我们需要修改或更新Doris中的数据，如何使用UPDATE命令来操作。数据更新对Doris的版本有限制，只能在Doris Version 0.15.x + 才可以使用。数据更新只能在数据模型的表中执行，使用场景为：对满足某些条件的行进行修改值或小范围数据更新，待更新的行最好是整个表非常小的一部分。
doris表唯一模型如何自由选择字段删除数据
苏暴击的博客
12-31 1365
doris表唯一模型如何自由选择字段删除数据
Doris解决磁盘高占用
gaofeng的博客
12-21 2346
问题 有个Doris集群的磁盘占用比较高，一直在告警 需要清理be节点storage_root_path路径下的trash目录，但是清理了之后过一段时间又高很多，需要调整集群参数进行自动清理 分析 BE 配置：trash_file_expire_time_sec FE 配置：catalog_trash_expire_second fe的配置是加快进入 trash的时间 be的配置是trash里的数据过期时间 解决办法 调整BE参数，变小些 BE 配置：trash_file_expire_time_sec
Apache Doris 入门教程19：数据更新及删除
sunjian286的专栏
08-01 3471
本文简要介绍如何在Apache Doris中进行数据更新及删除操作
Doris系列20-分区缓存
只是甲的博客
01-14 1088
文章目录一. 分区缓存概述1.1 需求场景1.2 解决方案1.3 SQLCache1.4 PartitionCache1.4.1 设计原理1.5 一些限制二. 使用方式2.1 开启SQLCache2.2 开启PartitionCache参考: 一. 分区缓存概述 1.1 需求场景 大部分数据分析场景是写少读多，数据写入一次，多次频繁读取，比如一张报表涉及的维度和指标，数据在凌晨一次性计算好，但每天有数百甚至数千次的页面访问，因此非常适合把结果集缓存起来。在数据分析或BI应用中，存在下面的业务场景： 高并
docker run -itd \ --name=doris_fe1 \ --env FE_SERVERS="fe1:192.168.40.129:9010" \ --env FE_ID=1 \ -p 8030:8030 \ -p 9030:9030 \ -v /data/doris-meta:/opt/apache-doris/fe/doris-meta \ -v /data/fe/conf:/opt/apache-doris/fe/conf \ -v /data/fe/log:/opt/apache-doris/fe/log \ apache/doris:1.2.2-fe-x86_64 中如何只写域名，不写ip才不会报错
06-08
在这个命令中，FE_SERVERS参数需要指定一个IP地址，因此不能只写域名而不写IP地址。如果你想要使用域名而不是IP地址，你需要在你的DNS服务器中将该域名解析为对应的IP地址。然后在这个命令中使用该IP地址即可。另外，如果你想要在容器内部使用域名访问其他容器，可以使用Docker的DNS功能，具体可以参考Docker文档中的相关说明。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

修破立生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值