presto 内存配置

最新推荐文章于 2024-05-20 16:22:31 发布
最新推荐文章于 2024-05-20 16:22:31 发布
阅读量79 收藏
点赞数
分类专栏： presto 文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44779906/article/details/134089349
版权

 

1) 各个节点 JVM内存推荐大小: 当前节点剩余内存 80%
2) 对于  memory.heap-headroom-per-node 第三方库的内存配置 : 建议 jvm内存的 15%左右, 默认为30%
3) 在配置的时候, 不要正正好后, 建议预留一点点, 以免出现问题,建议预留 5%~10%
4) 用户内存和系统内存之间比较, 一般是以 8/2原则或者 7/3原则

没￥开会员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
presto资源组配置
05-11
presto资源组配置
【大数据】Presto（Trino）配置参数以及 SQL语法
匠人精神，持之以恒！
05-14 2421
Trino(前身为PrestoSQL)是一款高性能，分布式的SQL查询引擎，可以用于查询各种类型的数据存储，包括HiveMysqlKafkaPostgreSQL等。节点和worker节点的数量: 这两个参数控制了Trino集群中管理查询的节点数量，它们的配合调整可以影响整个集群的查询效率。memory和cpu的分配: 这些参数控制了Trino在查询和计算时使用的内存和CPU数量。可以根据集群的实际硬件情况和查询工作负载来灵活配置。join分布式：控制join关键字的使用。
presto内存配置
besmarterbestronger的博客
02-10 3064
目录1. presto的内存结构2. 参考文献 1. presto的内存结构 下图是presto-worker节点的内存示意图： 图片来源于互联网 可以粗略的认为presto的jvm.properties配置文件中的jvm堆内存会被分为3份： 系统内存池(SystemMemoryPool) 保留内存池(ReservedMemoryPool) 普通内存池(GeneralMemoryPool) 这三者的区别： System Pool 是用来保留给系统使用的，默认为40%的内存空间留给系统使用。 Res
presto内存配置以及调优(防止OOM等操作)
zeng6325998的博客
07-02 4274
参考文档 https://prestodb.io/blog/2019/08/19/memory-tracking 前言 良好的掌握内存配置有利于对于presto进行更好的配置和调优 Presto的内存池 在Presto引擎中，有两种类型的内存分配:user和system。User memory是和输入的数据强相关的。（例如，聚合的内存使用与其成正比）。system memory 是执行的副产品（比如表扫描和写入缓冲区），并且不一定与查询输入聚合等操作有很强的相关性。 内存的分配直接来自于presto的w.
presto内存分配参数
chuanzhongdu1的专栏
07-16 3957
假如设置最大Heap内存为35G 需要考虑的Heap最大值因素，因为需要给系统与其他守护进程留有空间，所以最好不要将内存设置为机器内存大小 prestor参数 query.max-memory-per-node 每个机器上用于执行用户任务的内存大小，比如：排序等操作,超出限制将kill query.max-total-memory-per-node 每个节点上用于系统与用户任务的内存大...
正点原子的STM32内存管理笔记
一步一步往上爬
12-29 764
内存管理指的是，软件运行时对计算机内存资源的分配和使用的技术。目的是如何高效、快速的分配，并在适当的时候释放和回收内存资源。 分块式内存管理 从上图可以看出，分块式内存管理由内存池和内存管理表两部分组成。 首先必须要有内存池，也就是分配的内存空间，然后是内存管理表 内存池被等分为 n 块，对应的内存管理表，大小也为 n，内存管理表的每一个项对应内存池的一块内存。 内存管理表的项值代表的意义为：当该项值为 0 的时候，代表对应的内存块未被占用，当 该项值非零的时候，代表该项对应的内存块已..
Presto之内存管理
zincooo的博客
07-03 439
query.max-total-memory-per-node：单个查询可以在单个worker上使用的最大user and system memory。query.max-total-memory：单个查询可以在整个集群中使用的最大user and system memory。query.max-memory-per-node：单个查询可以在单个worker上使用的最大user memory。query.max-total-memory-per-node 默认为堆内存*0.3。
Presto简介.docx
07-26
Facebook、OLAP、分布式查询引擎、跨多数据源级联、低延迟高并发、内存计算、交互式、java8、PB级。
datax支持presto读取
12-07
1、说明：datax支持presto读取，datax规范开发插件，读取presto中数据，可以在presto中配置mysql、postgresql、es、hive等数据库的连接，通过datax执行关联查询，数据存入新的库 2、插件更新：解压文件 prestoreader...
presto热加载
09-06
presto热加载catalog下的配置，无须重启presto，实时更新配置
Linux Tableau Server Presto ODBC驱动配置问题
04-01
之前个人部署笔记，都是精华，希望对你有所帮助。。。。
presto内存配置逻辑梳理
lilyjoke的专栏
11-18 1015
presto内存配置逻辑梳理
Docker笔记-搭建达梦Python环境（dmPython + SQLAlchemy）
IT1995的博客
05-20 273
达梦提供的C接口，dpi和java的jar包已经很好用了，想不到，来了一个用python的同事，这里就只能适应下他了，在不影响其他环境下搭建一个python的达梦环境。最后发现，python对进行达梦增删改查，还是比较简单的开发效率大于C的dpi，甚至感觉效率也不再java之下。仅仅是搞业务这块还是比较方便的，但搭建和部署，难度比C和Java复杂了很多，反正就是各有优劣吧。
Oracle数据库之PL/SQL基本语法（八）
pursue_mony的博客
05-14 112
PL/SQL 是 Oracle 数据库中使用的过程化 SQL 语言扩展，它允许你在 SQL 语句中嵌入控制结构、变量声明、异常处理等。用于在 PL/SQL 块中输出调试信息。为了看到这些信息，你需要在 SQL*Plus 或其他客户端中启用它（例如，使用。PL/SQL 代码通常被组织在块（block）中。一个块包含三个部分：声明部分、执行部分和异常处理部分。包是 PL/SQL 中一种将逻辑、变量、常量、游标、类型、子程序、异常等组合在一起的数据库对象。在 PL/SQL 中，你可以在。部分来处理运行时错误。
sql去除表中某个字段的空格
HelloWorld的专栏
05-20 50
比如表中名字字段，名字之间有空格，需要把空格去除，应该如何写SQL语句实现？函数来去除字符串两端的空格，如果需要去除字段中的所有空格，可以使用。以下是一个示例，假设我们有一个名为。的表，并且我们想要去除。在SQL中，可以使用。
SQL——SERVER的建表的基础知识
m0_74012211的博客
05-15 1315
SQL——SERVER的基本建表操作
byzer sql 详细参考
最新发布
gaohongfeng1的博客
05-20 92
数据加载 load excel load excel.`tmp/upload/exceltest.xls` where header="true" as hello_world; load csv load csv.`tmp/upload/taxi_tour_table_train_simple.csv` where delimiter="," and header = "true" as taxi_tour_table_train_simple;
写SQL的心得
weixin_64842400的博客
05-11 607
接着，系统按照 GROUP BY 子句中的指定字段分组，并对每个分组进行计算，生成虚拟的分组结果表。执行顺序 ：from > on > where > group by > having > select > distinct > order by > top。4、聚合函数本质：对指定的列进行聚合，如果我们用了group by，我们可以对每个分组应用内聚合函数。在分组内部，聚合函数会自动处理所有重复的行。具体来说，在执行 SELECT 子句时，系统先计算 SELECT 中的列表达式和函数等，然后。
sql实践
m0_56366541的博客
05-14 246
3.在select中使用if/case语句（from、where中也可以）在excel导入数据时要先在数据库中创建对应的数据库表。之后点击开始等待一会就结束了。选择文件，选择需要导入的表。2.尝试简单查询/复杂查询。1.从excel导入数据。6.存储过程中的本地变量。
presto内存无法释放如何解决
04-27
Presto是一个内存密集型的分布式查询引擎，所以内存管理非常重要。如果内存无法释放，可能会导致Presto集群的性能下降或崩溃。 以下是一些解决Presto内存无法释放的方法： 1. 调整内存配置：可以通过修改Presto集群的内存配置来解决内存无法释放的问题。具体的方法是在Presto配置文件中增加或修改以下参数： ``` query.max-memory query.max-memory-per-node query.max-total-memory-per-node ``` 2. 增加JVM参数：可以通过增加JVM参数来解决内存无法释放的问题。具体的方法是在Presto启动脚本中增加以下参数： ``` -XX:+UseG1GC -XX:G1HeapRegionSize=<size> -XX:MaxGCPauseMillis=<time> ``` 3. 调整垃圾回收策略：可以通过调整垃圾回收策略来解决内存无法释放的问题。具体的方法是在Presto配置文件中增加或修改以下参数： ``` jvm.gc.type jvm.gc.heap-headroom-percentage jvm.gc.max-heap-size ``` 4. 升级Presto版本：如果以上方法都无法解决内存无法释放的问题，可以考虑升级Presto版本。新版本的Presto通常会解决一些内存管理方面的问题。 总之，要解决Presto内存无法释放的问题，需要分析具体的情况，综合考虑以上方法，并根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值