如何在高配置服务器上跑出Doris的性能

  1. 问题背景:对于服务器32core,48core甚至64core服务器,这时Doirs默认的参数配置(内存、CPU、线程)较少。在用户看到的现象是服务器资源使用不高,到时写入或者查询性能不高。
  2. 如下配置是可以增强Doris使用服务器资源的能力,出来大家参考参考

该配置是在10个32core,128GB,每个服务器挂着5个1TB磁盘。每秒写入80w数据的集群上的实测的配置。

1.BE、FE调优参数添加,比如数据库最大事务.
#Cumulative Compaction线程池中线程数量的最大值
max_cumu_compaction_threads = 60
#Base Compaction线程池中线程数量的最大值
max_base_compaction_threads = 8
#控制每个内核运行工作的线程数。 通常选择 2 倍或 3 倍的内核数量。 这使核心保持忙碌而不会导致过度抖动
num_threads_per_core = 96
thrift_connect_timeout_seconds = 10
thrift_rpc_timeout_ms = 10000
streaming_load_json_max_mb = 2000
max_tablet_version_num = 8000
max_runnings_transactions_per_txn_map = 50000
max_running_txn_num_per_db = 100000
publish_version_worker_count = 96
number_tablet_writer_threads = 64
min_compaction_threads = 20
max_send_batch_parallelism_per_job = 20
enable_quick_compaction = false
compaction_task_num_per_disk=8
compaction_task_num_per_fast_disk=16

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值