并发参数调整

从实际上看,MySQL是多线程结构,包括后台线程和客户服务线程。多线程可以有效利用服务器资源,提高数据库的并发性能,控制并发连接和线程的主要参数有max_connections,back_log,thread_cache_Size,table_open_cache

max_connections

  • 采用max_connections控制允许连接到MySQL数据库的最大数量,默认值是151

  • 如果状态变量connection_errors_max_connections不为0,并且一直增长,说明不断有连接请求因数据库连接数达到最大而失败,可以考虑增大max_connections的值

  • 最大连接数取决于很多因素:操作系统的线程库质量,内存大小,每个连接的负荷,cpu的处理速度,期望的响应时间

back_log

  • back_log参数控制MySQL监听tcp端口时设置的积压请求栈大小
  • 如果MySQL的连接数大于max_connections,新的请求会存在积压请求栈中,以等待某一连接释放资源,该堆栈的数量即back_log
  • 如果等待的数量超过back_log,将不会被授予连接资源,将会报错

table_open_cache

  • 该参数用来控制所有sql语句执行线程可打开表缓存的数量
  • 一个sql语句若操作一张表则需要一个表缓存,多张表的话需要多张表缓存

thread_cache_size

  • 为了加快连接数据库的速度,MySQL会缓存一定数量的客户服务线程以备重用。通过该参数可控制客户服务线程的数量

innodb_lock_wait_timeout

  • 用来设置innoDB事务等待行锁的时间,可以根据需要设置
  • 对于需要快速反馈的业务系统来说,可以将行锁的等待时间调小,以避免事务长时间挂起
  • 对于后台运行的批量处理程序来说,可以将行锁的等待时间调大,以避免发生大的回滚操作
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当你在使用Spark SQL时,可以调整并发参数配置来优化性能。以下是一些常见的并发参数配置和调整建议: 1. spark.sql.shuffle.partitions: 这个参数控制着shuffle操作的并发度。默认情况下,它的值是200。你可以根据你的数据规模和集群配置来调整这个值。通常情况下,将它设置为核心数的2-3倍是一个不错的选择。 2. spark.sql.files.maxPartitionBytes: 这个参数控制着非shuffle操作(如读取文件)时每个分区的最大字节数。默认情况下,它的值是128MB。如果你的文件比较小,你可以将这个值调小一些,以增加并发度。 3. spark.sql.shuffle.file.buffer: 这个参数控制着shuffle操作写入磁盘时的缓冲区大小。默认情况下,它的值是32KB。如果你的shuffle操作非常频繁或者数据量很大,你可以适当增大这个值,以减少磁盘IO次数。 4. spark.sql.adaptive.enabled: 这个参数控制着自适应查询优化的开关。默认情况下,它的值是false。启用自适应查询优化可以根据运行时统计信息动态调整执行计划,从而提升性能。 你可以通过在SparkSession上调用相关方法来设置这些参数,例如: ``` spark.conf.set("spark.sql.shuffle.partitions", "200") spark.conf.set("spark.sql.files.maxPartitionBytes", "128M") spark.conf.set("spark.sql.shuffle.file.buffer", "32k") spark.conf.set("spark.sql.adaptive.enabled", "true") ``` 请根据你的具体需求和环境来调整这些参数,以获得最佳的性能表现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值