go mysql连接池_golng mysql库连接池分析

最新推荐文章于 2024-05-13 05:51:40 发布
最新推荐文章于 2024-05-13 05:51:40 发布
阅读量361 收藏
点赞数
文章标签： go mysql连接池
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29089057/article/details/113164832
版权

0x1 背景

golang的协程是好用，但是有时候瓶颈并不在语言上，而是在后面的数据源上面，例如我们常见的mysql，redis等，当一个后端服务很多请求的时候，语言是能hold得住，但是

mysql产生错误，比如 too many connection, too many time_wait 等等这些，今天我们就分析一下怎么解决这种问题

0x2 代码范例

请查看main.go， halokid

(有帮忙的话请start或者follow一下哦，谢谢)

0x3 分析

只执行ini函数， 检查mysql的进程显示为(原有的mysql是没有进程在处理的)

没执行前

mysql> show processlist;

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| Id | User | Host | db | Command | Time | State | Info |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| 4 | event_scheduler | localhost | NULL | Daemon | 2304 | Waiting on empty queue | NULL |

| 9 | root | 10.244.1.1:64000 | test | Sleep | 1315 | | NULL |

| 10 | root | 10.244.1.1:64022 | test | Query | 0 | starting | show processlist |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

3 rows in set (0.01 sec)

复制代码

执行后

mysql> show processlist;

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| Id | User | Host | db | Command | Time | State | Info |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| 4 | event_scheduler | localhost | NULL | Daemon | 2284 | Waiting on empty queue | NULL |

| 9 | root | 10.244.1.1:64000 | test | Sleep | 1295 | | NULL |

| 10 | root | 10.244.1.1:64022 | test | Query | 0 | starting | show processlist |

| 13 | root | 10.244.1.1:52134 | test | Sleep | 20 | | NULL |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

4 rows in set (0.00 sec)

复制代码

可见执行 db.Ping() 之后， process多了一个 Sleep 的连接，就是放了一个连接进 连接池

运行

db.SetMaxOpenConns(10)

db.SetMaxIdleConns(5)

复制代码

两句之后， 连接池并没有改变， 可见上面的逻辑是在 数据库处理逻辑真实执行的时候才生效的

执行协程查询

mysql> show processlist;

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| Id | User | Host | db | Command | Time | State | Info |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| 4 | event_scheduler | localhost | NULL | Daemon | 4397 | Waiting on empty queue | NULL |

| 9 | root | 10.244.1.1:64000 | test | Sleep | 3408 | | NULL |

| 10 | root | 10.244.1.1:64022 | test | Query | 0 | starting | show processlist |

| 19 | root | 10.244.1.1:54823 | test | Sleep | 952 | | NULL |

| 20 | root | 10.244.1.1:54824 | test | Sleep | 1104 | | NULL |

| 47 | root | 10.244.1.1:57906 | test | Sleep | 0 | | NULL |

| 48 | root | 10.244.1.1:57909 | test | Sleep | 0 | | NULL |

| 49 | root | 10.244.1.1:57912 | test | Sleep | 0 | | NULL |

| 50 | root | 10.244.1.1:57907 | test | Sleep | 0 | | NULL |

| 51 | root | 10.244.1.1:57908 | test | Sleep | 0 | | NULL |

| 52 | root | 10.244.1.1:57913 | test | Sleep | 0 | | NULL |

| 53 | root | 10.244.1.1:57911 | test | Sleep | 0 | | NULL |

| 54 | root | 10.244.1.1:57910 | test | Sleep | 0 | | NULL |

| 55 | root | 10.244.1.1:57915 | test | Sleep | 0 | | NULL |

| 56 | root | 10.244.1.1:57914 | test | Sleep | 0 | | NULL |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

15 rows in set (0.00 sec)

复制代码

执行完在等待

mysql> show processlist;

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| Id | User | Host | db | Command | Time | State | Info |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| 4 | event_scheduler | localhost | NULL | Daemon | 3931 | Waiting on empty queue | NULL |

| 9 | root | 10.244.1.1:64000 | test | Sleep | 2942 | | NULL |

| 10 | root | 10.244.1.1:64022 | test | Query | 0 | starting | show processlist |

| 19 | root | 10.244.1.1:54823 | test | Sleep | 486 | | NULL |

| 20 | root | 10.244.1.1:54824 | test | Sleep | 638 | | NULL |

| 32 | root | 10.244.1.1:56588 | test | Sleep | 22 | | NULL |

| 33 | root | 10.244.1.1:56591 | test | Sleep | 22 | | NULL |

| 34 | root | 10.244.1.1:56589 | test | Sleep | 22 | | NULL |

| 35 | root | 10.244.1.1:56590 | test | Sleep | 22 | | NULL |

| 36 | root | 10.244.1.1:56592 | test | Sleep | 22 | | NULL |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

10 rows in set (0.00 sec)

复制代码

协程执行完之后

mysql> show processlist;

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| Id | User | Host | db | Command | Time | State | Info |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| 4 | event_scheduler | localhost | NULL | Daemon | 3941 | Waiting on empty queue | NULL |

| 9 | root | 10.244.1.1:64000 | test | Sleep | 2952 | | NULL |

| 10 | root | 10.244.1.1:64022 | test | Query | 0 | starting | show processlist |

| 19 | root | 10.244.1.1:54823 | test | Sleep | 496 | | NULL |

| 20 | root | 10.244.1.1:54824 | test | Sleep | 648 | | NULL |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

5 rows in set (0.00 sec)

复制代码

我们发现最大连接控制在了10个， 执行完之后还有5个连接在保持着

这里有一个很重要的问题，就是连接池的过期时间

0x4 深入分析

我们把 db.SetConnMaxLifetime(15 * time.Second)， 连接池连接的生命周期设置为 15秒, 我们会发现15秒之后，连接池的连接都会断掉

mysql> show processlist;

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| Id | User | Host | db | Command | Time | State | Info |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

| 4 | event_scheduler | localhost | NULL | Daemon | 4987 | Waiting on empty queue | NULL |

| 9 | root | 10.244.1.1:64000 | test | Sleep | 3998 | | NULL |

| 10 | root | 10.244.1.1:64022 | test | Query | 0 | starting | show processlist |

| 19 | root | 10.244.1.1:54823 | test | Sleep | 1542 | | NULL |

| 20 | root | 10.244.1.1:54824 | test | Sleep | 1694 | | NULL |

+----+-----------------+------------------+------+---------+------+------------------------+------------------+

5 rows in set (0.00 sec)

复制代码

30秒之后再次查询数据库

time.Sleep(30 * time.Second)

rows, err := db.Query("select name from users")

fmt.Println("err -----", err)

defer rows.Close()

for rows.Next(){

var name string

rows.Scan(&name)

fmt.Println("name---", name)

}

复制代码

这个时候发现程序会重新发起新的db连接

总结：

mysql服务端的连接生命周期

还有一种请况就是，我们的程序的连接池生命周期设置大于mysql服务器的生命周期设置， 这个时候就会有一种请况，假如我们重复用连接池的连接，会产生

连接错误的问题，解决方法有两种：

可以在程序里面设置生命周期时间小于mysql服务端的连接生命周期时间就可以了

增加程序的重连(keepalive)机制，就是定时发送一个连接包服务端

关于第2点我们我们以后可以再发散来说，一般如果允许的话，用第一种方式即可。

mysql> show variables like 'mysqlx_wait_timeout';

+---------------------+-------+

| Variable_name | Value |

+---------------------+-------+

| mysqlx_wait_timeout | 28800 |

+---------------------+-------+

1 row in set (0.00 sec)

复制代码

有疑问加站长微信联系(非本文作者)

5c5fbae790ec0313d6ee17e8b3dd9ba1.png

丶方可
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
go mysql 连接池_go 数据库链接池
weixin_31036469的博客
02-15 136
数据库链接池的实现步骤ConnPooltype ConnPool interface {Get() (*Conn, error) // 获取资源Pulish(*Conn) error // 释放资源,返回池中Shutdown() error // 关闭池}type Connpool struct {lock sync.MutexConnList []*Co...
Go中MySQL连接池
小知识折射大智慧
09-17 7660
使用MySQL的链接池可能存在如下问题：在客户端连接池中的一条空闲链接，可能是一条已经被MySQL服务端关闭掉的链接。 如果不使用连接池，也会出现别的问题
Golang 关于 Mysql连接池的实现
他说他是个木偶的博客
02-07 1530
随着业务体量上去势必会遇到数据库的性能问题，从合理的 sql 语句、字段索引、分库分表、读写分离等，在加上缓存技术，基本上就可以解决几乎所有业务，再差提升硬件即可，而 Go 自身就已实现连接池， 以解决连接带来的时延从而提升性能（空间换时间），于是想了解提升下。掌握 Go 本身的功能相关参数配置以及了解 mysql 的配置，才能更加熟练的使用 Go 的连接池的功能，从而保障服务的健壮性。
2024年C C++最新Go语言操作MySql相关学习_go mysql，2024年最新请谈下C C++消息机制
最新发布
2401_84978673的博客
05-13 817
(‘张三’, ‘18’),(‘李四’, ‘28’),(‘翠花’, ‘38’);
Go-MySQL（二）Go实现MySQL连接池
kevin的博客
04-30 1525
文章目录Go-MySQL（二）Go实现MySQL连接池连接池数据结构获取连接释放连接关闭连接池测试完整代码 Go-MySQL（二）Go实现MySQL连接池 连接池数据结构 利用channel来存储数据库连接，消费channel中的消息获取连接，连接池未满时则新建连接后将连接放入channel，采用的带缓冲区的channel，缓冲区大小就是连接池的最大容纳的连接数，如果缓冲区还有空间，那么获取和释放连接都不会阻塞，如果缓冲区为空，那么就是阻塞连接获取，从而走新建连接的逻辑；同理，缓冲区满了，就阻塞向chann
mysql 连接池 。close无效_Golang连接池的几种实现案例
weixin_34445112的博客
01-13 495
go语言中文手册：http://www.topgoer.com/因为TCP的三只握手等等原因，建立一个连接是一件成本比较高的行为。所以在一个需要多次与特定实体交互的程序中，就需要维持一个连接池，里面有可以复用的连接可供重复使用。而维持一个连接池，最基本的要求就是要做到：thread safe(线程安全)，尤其是在Golang这种特性是goroutine的语言中。实现简单的连接池type Pool ...
基于Swoole的高性能MySQL连接池SMProxy源码
03-26
项目概述：基于Swoole的高性能MySQL连接池SMProxy，采用PHP语言开发，深度整合MySQL协议，致力于提高数据库连接效率。该项目包含81个文件，其中PHP源文件占45个，涵盖Markdown文档、配置文件、示例及HTML页面等多种...
nodejs封装好的mysql数据库模块，带mysql连接池以及百万测试数据
08-07
nodejs封装好的mysql数据库模块，使用mysql连接池以及附带百万mysql测试数据，实现mysql数据库的增删改查功能，使用方法很详细。
易语言MYSQL连接池模块
07-18
易语言MYSQL连接池模块源码,MYSQL连接池模块,GetThis,初始化,关闭类线程,线程_测试,其他_附加文本,连接池初始化,取mysql句柄,释放mysql句柄,取空闲句柄数,销毁连接池,取_类_函数地址,取指针内容_整数,取变量地址_...
workerman写mysql连接池的实例代码
09-08
在本篇文章中小编给大家分享的是一篇关于workerman写mysql连接池的实例代码内容，有需要的朋友们可以参考下。
MySql.Data.zip_MYSQL_mysql c#_mysql 连接_mysql连接类_连接MYSQL
09-23
C#连接MySql数据库提供的类
Go-go-mysql-一个Go工具集用于处理MySQL协议和复制
08-13
go-mysql - 一个Go工具集用于处理MySQL协议和复制
Go-一个golang的任务协程池简单实现
08-14
一个golang的任务协程池简单实现，用于限制系统无休止开辟协程执行任务的场景
09 | Swoole与Go系列教程之MySQL连接池的应用
A码农先森的专栏
03-23 883
MySQL 连接池的出现是为了解决数据库连接频繁创建和销毁的性能问题。在传统的数据库访问方式中，每次操作数据库时都会创建一个新的数据库连接，频繁创建和销毁连接会导致连接无法被有效复用。连接池可以减少了连接的创建和销毁开销，降低了数据库操作的延迟。继而减轻了数据库服务器的负担，提升了数据库的性能和并发能力。MySQL 连接池极大地提升了数据库访问性能和可伸缩性，使得数据库访问更加高效、可靠和稳定。MySQL 连接池的出现是为了解决数据库连接频繁创建和销毁的性能问题。
golang msyql连接池model继承使用
02-28 384
go mysql 连接池 gorm封装
【JDBC】JDBC和连接池的关系
pangpd的博客
09-07 2099
1. 前言 一直以为连接池是对JDBC的封装，今天再次回顾Java基础的时，才发现并非完全如此。连接池只是包装/操作了JDBC API 接口,然后再实际运行的时候,这些接口的具体实现则 下面是知乎上的一个图：JDBC和连接池的关系 2. JDBC和连接池的关系 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。简单说可以通过JDBC来访问数据库， 而连
Go基础之mysql连接
python程序员
07-22 1740
Go基础之mysql连接
Golang 侧数据库连接池原理和参数调优
每一个不曾起舞的日子，都是对人生的辜负。
01-13 4970
Golang 侧数据库连接池原理和参数调优 文章目录Golang 侧数据库连接池原理和参数调优数据库连接池数据库连接池的设计Go 的数据库连接池Go 数据库连接池的设计建立连接释放连接清理连接配置 sql.DB 以获得更好的性能maxOpenmaxIdlemaxLifeTime在实践和压测中配置 Go 数据库连接池附录一：超出连接设置附录二：如何配置一个高性能的数据库连接池 池化技术 (Pool...
SQL语句错误 Error Code: 1052. Column ‘id‘ in field list is ambiguous
热门推荐
WYuan的博客
09-09 1万+
原因：两表连接后，有两个同名的属性，不知道select的是哪个表的属性。         如： select id from student_name left join student_adress on student_name.id=student_adress.id;         解决办法：在要select的属性前加上表名。 这里是将select id 改为select student_name.id &nbs
golang mysql gorm连接池
08-11
在Golang中使用MySQL连接池与GORM ORM库可以提高性能和效率。下面是一个简单的示例代码，展示如何使用GORM和MySQL连接池： ```go import ( "fmt" "log" "gorm.io/driver/mysql" "gorm.io/gorm" ) func main()...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值