Apache Doris (五十一）： Doris数据缓存

最新推荐文章于 2024-11-15 14:31:28 发布
最新推荐文章于 2024-11-15 14:31:28 发布
阅读量684 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 Apache Doris 文章标签： doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/134221679
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 32 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 34 订阅
订阅专栏
本文详细介绍了Apache Doris的缓存策略，包括SQLCache和PartitionCache，强调了Doris在数据分析场景中的缓存优势，如数据一致性、内存管理和高命中率。PartitionCache适合于T+1更新的场景，通过优化参数如`cache_result_max_row_count`和`cache_max_partition_count`可提升性能。文章还探讨了目前Doris缓存存在的不足和不支持的场景。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
【 Doris】Apache Doris 冷热数据存储（一）
m0_54252387的博客
07-09 682
1. 前言对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体——用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有这么高的要求，而前者存储的代价往往是远高于后者的。用户在满足了自身对于数据使用要求的情况下，自然会开始考虑
Apache Doris：深度优化与最佳实践
Programming Talk
11-14 2000
通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。在数据导入 Doris 之前，进行必要的数据清洗和预处理可以提高数据质量和查询性能。合理管理数据的生命周期，定期删除不再需要的历史数据，可以节省存储空间并提高查询性能。索引覆盖是指查询的所有列都在索引中，这样可以避免回表查询，提高查询性能。预聚合可以显著提高查询性能，特别是在需要频繁进行聚合操作的场景中。
Apache Doris 入门教程22：数据缓存
sunjian286的专栏
08-05 906
本文简要介绍如何在Apache Doris中使用数据缓存
Doris系列20-分区缓存
只是甲的博客
01-14 1264
文章目录一. 分区缓存概述1.1 需求场景1.2 解决方案1.3 SQLCache1.4 PartitionCache1.4.1 设计原理1.5 一些限制二. 使用方式2.1 开启SQLCache2.2 开启PartitionCache参考: 一. 分区缓存概述 1.1 需求场景 大部分数据分析场景是写少读多，数据写入一次，多次频繁读取，比如一张报表涉及的维度和指标，数据在凌晨一次性计算好，但每天有数百甚至数千次的页面访问，因此非常适合把结果集缓存起来。在数据分析或BI应用中，存在下面的业务场景： 高并
doris查询缓存详解：开启和关闭及使用限制
学亮编程手记
10-29 1031
在 FE 中，Cache 的元数据信息被设置为弱引用。当 BE 将计算结果返回给 FE 后，FE 会 负责将这些结果存储至对应的 BE 中，并在其内存中记录此次查询的元数据信息。当 FE 接收到查询请求时，它首先会在内存中利用 SQL 字符串进行查找，判断之前是否执行过相同的查询，并尝试获取该查询的元数据信息，这些信息包括查询所涉及表的版本以及分区的版本。此外，如果 SQL 优化阶段判断出查询结果仅包含 0 行或 1 行数据，FE 会选择将这些结果保存在其内存中，以便更快速地响应未来可能的相同查询。
【Doris】 技术实现 - 冷热数据存储（一）
m0_54252387的博客
07-26 1568
对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体——用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有这么高的要求，而前者存储的代价往往是远高于后者的。...
Apache Doris 入门教程36：文件分析和文件缓存
sunjian286的专栏
08-23 906
本文简要介绍Apache Doris中的文件分析和文件缓存机制
Apache Doris (二) ：Doris架构原理及特点
qq_32020645的博客
06-23 2107
Doris整体架构如下图所示：Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。主要负责用户请求的接入、查询解析规划、元数据的存储、节点管理相关工作。FE又分为，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。
大数据Doris（六十五）：基于Apache Doris的数据中台2.0
Lansonli（蓝深李）的博客
02-12 1892
对于明细数据在TiDB或者ES的，我们选择了在Flink中进行窗口聚合写入到下游Doris或者ES中。需要对监听的源表以及变更字段进行配置，在配置的interval时间窗口内多个源表进行扫描，然后将结果进行merge后生成参数，根据配置的threshold对参数进行拆分后传入多个insert sql中，并在每天凌晨进行T+1的全量聚合，修复微批计算的错误数据。由于之前我们的实时数仓只有ES，所以在使用Doris的初期，我们选择了通过Doris创建ES外表的方式来完善我们的Doris数仓底表。
技术实现 | Apache Doris 冷热数据存储（一）
ucanuup_的博客
06-23 1197
1. ...
Apache Doris：监控与运维及系统调优
最新发布
Programming Talk
11-15 1554
在前几篇文章中，我们已经介绍了 Apache Doris 的基本概念、安装配置、性能优化、数据建模最佳实践、以及高级数据导入导出功能和外部系统集成。通过本文，读者将能够更好地管理和维护 Doris 系统，确保其稳定性和高性能。Doris 提供了丰富的监控指标，可以帮助管理员监控系统的健康状况和性能。索引覆盖是指查询的所有列都在索引中，这样可以避免回表查询，提高查询性能。预聚合可以显著提高查询性能，特别是在需要频繁进行聚合操作的场景中。通过合理的数据分布策略，可以避免数据倾斜，提高查询性能。
Doris【基础篇】
xiayuhaisong的博客
02-29 3941
Doris（原百度Palo）是一款基于大规模并行处理技术的分布式SQL数据库。基于MPP的交互式SQL数据库，可以用于OLAP。MPP是将任务并行的分散到多个服务器和节点上，在每个节点上结算完后，将各个部分的结果汇总在一起得到最终的结果。
Doris 应用实践之高并发 & 大吞吐，如何选择？
持之以恒
09-05 4683
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。...
Doris使用及优化（1.2.6 - 2.0.2 release）
weixin_43983455的博客
05-09 8027
Doris的使用及优化经验，持续更新，欢迎投递。
Apache Doris 进阶使用：表结构变更；动态分区；数据缓存；Doris Join 类型；Runtime Filter；Join优化原理；BITMAP精准去重；物化视图
学亮编程手记
02-12 1491
用户可以通过 Schema Change 操作来修改已存在表的 Schema。下面演示对Doris表rollup增加列以及修改列类型来演示Schema Change作业。，下面直接演示作业创建。
Doris——高并发点查实践
weixin_71195617的博客
09-12 1861
选择Prepare模式随机传参，其中[Parameter values]和[Parameter types]需要和SQL中的[?行缓存复用了 Doris 中的 LRU Cache 机制来保障内存的使用。需要注意文件名、即对应 [prepare参数生成] 的csv文件存放路径， 以及csv列对应的字段名称和分隔符的填写。压测过程中，BE的CPU大致使用50%（其中包括Jmeter进程的），内存使用率较低。导出查询结果集（通过dbeaver自身的功能导出csv数据作为prepare参数）。
【Apache Doris】3.0存算分离｜标准部署篇（一）
ith321的博客
07-27 4249
【Apache Doris】3.0存算分离｜标准部署篇（一）
Doris：多源数据目录（Multi-Catalog）
m0_37559973的博客
11-11 5822
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值