Presto学习（6）-配置优化

由于公司的安规要求，不允许又第三方的聊天工具、云盘及笔记，导致有道云无法使用，故将有道云笔记整理发布在CSDN

1. 基本环境

服务器1：JDK1.8、zookeeper 、presto、presto client、hive、hive client

服务器2：JDK1.8、zookeeper 、presto

服务器3：JDK1.8、zookeeper 、presto

服务器配置：CPU 双核，内存20G，硬盘100G

1. config.properties文件配置优化

#改动这个查询速度影响不大，但是注意如果查询5千万的数据量，必须为2GB以上，不然会报内存不足

query.max-memory-per-node=1、2、4GB

#最低为2GB，但是必须等于或大于上面的配置

query.max-total-memory-per-node=2、4、8、10、12、14、16GB

SQL语句（查询5千万数据，测试3次取平均值，where条件随时会变，防止之前的查询缓存）：SELECT fifty_million."code" D8D5CB1C9C06468A_NONE,SUM(CAST(fifty_million."id" AS bigint)) C6764C6B19F94A22_SUM FROM fifty_million where id>1293875 GROUP BY fifty_million."code";

结论是：相对可以达到最快查询速度的计算方法是query.max-total-memory-per-node >= query.max-memory-per-node * 2，

并且query.max-total-memory-per-node * work节点<=内存

1. jvm.config文件配置优化：执行效率16G>18G，14G及以下开启失败（config.properties配置是4GB+10GB）