自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

weixin_43983455的博客

原创 Doris使用及优化（1.2.6 - 2.0.2 release）

Doris的使用及优化经验，持续更新，欢迎投递。

2023-05-09 21:34:07 4728 3

原创 Doris集群安装部署（1.2.4.1 release）

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

2023-05-05 09:32:07 3762 2

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

JasonGofen CSDN认证博客专家 CSDN认证企业博客

码龄5年

暂无认证

IP 属地：天津市

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

2: 原创

153万+: 周排名

75万+: 总排名

8499: 访问

: 等级

31: 积分

7: 粉丝

9: 获赞

5: 评论

39: 收藏

私信

关注

分类专栏

DORIS 2篇

最新评论

Doris使用及优化（1.2.6 - 2.0.2 release）
weixin_45511598: 我把Doris放在Hadoop集群的节点上使用catalog连接hive，查询数据就会很快。如果不在hadoop节点上，第一次查询就会非常慢。帅哥这种情况有没有遇到？如何解决
Doris使用及优化（1.2.6 - 2.0.2 release）
JasonGofen: 从目前我们使用的情况看，能想到的可能有这么2种情况： 1.假设在with语句中，用Doris catalog查询外部源数据，这时通过JDBC查过来的数据会缓存到内存中，但用完应该过段时间就释放了。假如用catalog同样的SQL一直查外部源同样的数据，这部分数据会在缓存中存在比较久的时间等待刷新。 2.假设在with语句中，查询的是在Doris落地的表，这时查询也会放到内存中，缓存一段时间之后释放，如果有不断请求一直查询同样的数据，那该数据会一直在内存中缓存着等待刷新。 Doris的缓存机制比较复杂，有LRU 策略、多级缓存、数据一致性和过期机制等组成，但从情况看，除第一次查询比较慢外，后续的同样的查询相对都会比较快，所以Doris应该针对绝大多数的查询都有默认的缓存机制来加速查询速率。总结两点建议： 1.BE的内存尽可能的高一点，我们生产每台BE是1TB内存，可以使劲造一段时间。BE挺吃内存的，特别是大查询的情况下。 2.尽可能优化SQL，减少查询数据集的大小，全表查询尽量少点，不然内存使用率蹭蹭长。之前BE是256GB内存，Doris所有数据总大小不过才2.45TB，夜间调度基本吃满。以上供参考，如有不对请指正。
Doris使用及优化（1.2.6 - 2.0.2 release）
YY_pdd: doris中的with操作是只保留查询sql的结构，还是会把这个中间表的数据保存（缓存）起来。比如第4点中有temp1和temp2两个中间表，在doris实际运行中这两个表会单独保存吗，还是只是单纯的逻辑结构。因为实际使用中涉及了多次转换，如果使用嵌套，sql比较难懂，所以想知道能否使用with操作进行sql层面的解耦（因为数据比较大，所以害怕doris的with和hive中的with一样是会单独缓存）。
Doris集群安装部署（1.2.4.1 release）
CSDN-Ada助手: 恭喜您开始博客创作，Doris集群安装部署是一个非常实用的话题，期待您能够分享更多有价值的技术内容。推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
Doris集群安装部署（1.2.4.1 release）
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天最佳新人】榜单，全部的排名请看 https://bbs.csdn.net/topics/615109327。