tidb流式读取配置

本文介绍了如何通过设置TiDB的会话变量来管理执行速度,包括限制全扫描、索引读取、流式读取Tiflash的速度,以及客户端的fetchsize,以防止内存溢出。流式读取和分页选项对性能的影响及通用性考虑也被提及。
摘要由CSDN通过智能技术生成

程序中执行会话变量(显示数据速度):--后是tidb默认值。

配合流式读取,作如下读取速度限制,

限制fullscan&index速度:

以下是在java中的示例,com.adata.common.tidb.read.是java包类名:

com.adata.common.tidb.read.tidb_distsql_scan_concurrency=1; --15

com.adata.common.tidb.read.tidb_init_chunk_size=8; --32

com.adata.common.tidb.read.tidb_max_chunk_size=32; --128

com.adata.common.tidb.read.tidb_executor_concurrency=1; --5

限制index读取速度:

com.adata.common.tidb.read.tidb_index_lookup_size=20; --2000

com.adata.common.tidb.read.tidb_index_serial_scan_concurrency=1; --1

流式读数限制Tiflash读取速度在当前session的代码设置:set @@tidb_max_tiflash_threads=3; --"-1"

另外限制客户端读取速度:配合连接字符串cursorfetch=true,java代码设置setfetchsize(1000);

分页是另一个控制OOM的选项,一个选择但是用户侧目前为了通用性,不方便分页。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值