Go-MySQL（二）Go实现MySQL连接池

最新推荐文章于 2024-03-23 22:52:51 发布
最新推荐文章于 2024-03-23 22:52:51 发布
阅读量1.7k 收藏 8
点赞数
分类专栏： Go-MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41922289/article/details/116282223
版权
本文详细介绍了如何使用Go语言创建一个MySQL连接池，通过channel管理连接的获取、释放和关闭过程，以提高数据库操作效率。通过实例展示了连接池的初始化、获取连接、释放连接和关闭操作，并进行了一组协程并发测试。
摘要由CSDN通过智能技术生成

文章目录

Go-MySQL（二）Go实现MySQL连接池

连接池数据结构

利用channel来存储数据库连接，消费channel中的消息获取连接，连接池未满时则新建连接后将连接放入channel，采用的带缓冲区的channel，缓冲区大小就是连接池的最大容纳的连接数，如果缓冲区还有空间，那么获取和释放连接都不会阻塞，如果缓冲区为空，那么就是阻塞连接获取，从而走新建连接的逻辑；同理，缓冲区满了，就阻塞向channel放入连接的过程，需要先消费.

var (
	PoolUnInvaildSizeError = errors.New("pool size is unvaild")
	PoolIsClosedError = errors.New("pool had closed")
)

// 连接池定义
type Pool struct {
	sync.Mutex 				// 保证连接池线程安全
	Size int				// 连接池连接数量
	ConnChan chan io.Closer // 存储连接的管道
	IsClose bool
	ctx context.Context
}

初始化连接池：

// 初始化
func New(size int) (*Pool,error){
	if size <= 0{
		return nil,PoolUnInvaildSizeError
	}
	return &Pool{
		ConnChan: make(chan io.Closer,size),
		ctx: context.Background(),
	},nil
}

获取连接

获取连接：

  • 从管道中消费，如果没有连接则新建连接
  • 新建连接后放入连接池管道中
// 获取连接
func(pool *Pool) GetConnFromPool() (io.Closer,error){
	if pool.IsClose == true{
		return nil,PoolIsClosedError
	}
	select {
	// 从管道中消费
	case conn,ok := <- pool.ConnChan:
		if !ok{
			return nil,PoolIsClosedError
		}
		fmt.Println("获取到连接：",conn)
		return conn,nil
	default:
		// 连接池中没有连接，新建连接
		return pool.getNewConn(pool.ctx)
	}
}

构造新连接，这里使用的是go自带的sql.open获取到的DB对象的conn作为连接，其实DB对象自己也是由维护了一个连接池的，这里只是作为练习，获取其中的连接

// 构造新连接
func (pool *Pool) getNewConn(ctx context.Context) (io.Closer, error) {
	db,err := sql.Open("mysql","root:123@tcp(127.0.0.1:3306)/test?charset=utf8&parseTime=True")
	if err != nil{
		log.Fatal("数据库连接失败",err)
		return nil, err
	}
	conn,_ := db.Conn(ctx)
	select {
	case pool.ConnChan <- conn:
		fmt.Println("连接放入连接池")
	default:
		fmt.Println("连接池满了，连接丢弃")
		conn.Close()
	}
	return conn,nil
}

释放连接

释放连接，如果连接池没满则直接放入原来的channel中，满了则直接close丢弃

// 释放连接
func(pool *Pool) ReleaseConn(conn io.Closer) error{
	pool.Lock()
	defer pool.Unlock()

	if pool.IsClose == true{
		return PoolIsClosedError
	}

	select {
		case pool.ConnChan <- conn:
			fmt.Println("连接已放回",conn)
		default:
			fmt.Println("连接池满了，连接丢弃")
			conn.Close()
	}
	return nil
}

关闭连接池

关闭连接池除了需要修改连接池状态，关闭管道，还需要遍历管道中还存在的连接，将其一一关闭。

// 关闭连接池
func (pool *Pool) ClosePool() error{
	pool.Lock()
	defer pool.Unlock()

	if pool.IsClose == true{
		return PoolIsClosedError
	}

	pool.IsClose = true
	close(pool.ConnChan)

	for conn := range pool.ConnChan{
		conn.Close()
	}
	return nil
}

测试

开启20个协程模拟从连接池获取连接和释放连接的过程：

func Test() {
	wg := sync.WaitGroup{}
	pool, err := New(10)
	if err != nil {
		log.Fatal(err)
	}
	wg.Add(20)
	fmt.Println("开启20个协程获取连接")
	for i := 0; i < 20; i++ {
		go TestReleaseAndGetConn(pool,wg)
	}
	wg.Wait()
	fmt.Println("main end")
}

func TestReleaseAndGetConn(pool *Pool,wg sync.WaitGroup)  {
	s := rand.Int63n(2)
	time.Sleep(time.Duration(s) * time.Second)
	conn,err := pool.GetConnFromPool()
	if err != nil{
		log.Fatal(err)
	}
	fmt.Println("连接池连接数：",len(pool.ConnChan))
	time.Sleep(time.Duration(s) * time.Second)
	pool.ReleaseConn(conn)
	wg.Done()
}

结果：

在这里插入图片描述

完整代码

package go_mysql

import (
	"context"
	"database/sql"
	"errors"
	"fmt"
	"io"
	"log"
	"math/rand"
	"sync"
	"time"
)

var (
	PoolUnInvaildSizeError = errors.New("pool size is unvaild")
	PoolIsClosedError = errors.New("pool had closed")
)

// 连接池定义
type Pool struct {
	sync.Mutex 				// 保证连接池线程安全
	Size int				// 连接池连接数量
	ConnChan chan io.Closer // 存储连接的管道
	IsClose bool
	ctx context.Context
}

// 初始化
func New(size int) (*Pool,error){
	if size <= 0{
		return nil,PoolUnInvaildSizeError
	}
	return &Pool{
		ConnChan: make(chan io.Closer,size),
		ctx: context.Background(),
	},nil
}

// 获取连接
func(pool *Pool) GetConnFromPool() (io.Closer,error){
	if pool.IsClose == true{
		return nil,PoolIsClosedError
	}
	select {
	case conn,ok := <- pool.ConnChan:
		if !ok{
			return nil,PoolIsClosedError
		}
		fmt.Println("获取到连接：",conn)
		return conn,nil
	default:
		return pool.getNewConn(pool.ctx)
	}
}

// 关闭连接池
func (pool *Pool) ClosePool() error{
	pool.Lock()
	defer pool.Unlock()

	if pool.IsClose == true{
		return PoolIsClosedError
	}

	pool.IsClose = true
	close(pool.ConnChan)

	for conn := range pool.ConnChan{
		conn.Close()
	}
	return nil
}

// 释放连接
func(pool *Pool) ReleaseConn(conn io.Closer) error{
	pool.Lock()
	defer pool.Unlock()

	if pool.IsClose == true{
		return PoolIsClosedError
	}

	select {
		case pool.ConnChan <- conn:
			fmt.Println("连接已放回",conn)
		default:
			fmt.Println("连接池满了，连接丢弃")
			conn.Close()
	}
	return nil
}

// 构造新连接
func (pool *Pool) getNewConn(ctx context.Context) (io.Closer, error) {
	db,err := sql.Open("mysql","root:123@tcp(127.0.0.1:3306)/test?charset=utf8&parseTime=True")
	if err != nil{
		log.Fatal("数据库连接失败",err)
		return nil, err
	}
	conn,_ := db.Conn(ctx)
	select {
	case pool.ConnChan <- conn:
		fmt.Println("连接放入连接池")
	default:
		fmt.Println("连接池满了，连接丢弃")
		conn.Close()
	}
	return conn,nil
}

func Test() {
	wg := sync.WaitGroup{}
	pool, err := New(10)
	if err != nil {
		log.Fatal(err)
	}
	wg.Add(20)
	fmt.Println("开启20个协程获取连接")
	for i := 0; i < 20; i++ {
		go TestReleaseAndGetConn(pool,wg)
	}
	wg.Wait()
	fmt.Println("main end")
}

func TestReleaseAndGetConn(pool *Pool,wg sync.WaitGroup)  {
	s := rand.Int63n(2)
	time.Sleep(time.Duration(s) * time.Second)
	conn,err := pool.GetConnFromPool()
	if err != nil{
		log.Fatal(err)
	}
	fmt.Println("连接池连接数：",len(pool.ConnChan))
	time.Sleep(time.Duration(s) * time.Second)
	pool.ReleaseConn(conn)
	wg.Done()
}
Kevin_cai09
关注
专栏目录
go mysql连接池
NT的博客
07-28 365
package main import ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" ) func query_columns(db *sql.DB){ //查询数据，指定字段名，返回sql.Rows结果集 rows, err := db.Query("select ip,port from Ipport limit 20") if err != nil { fmt.Pri.
go+mysql+pool_golang go-sql-drive mysql连接池的实现
weixin_29378975的博客
02-15 261
golang内部自带了连接池功能，刚开始接触golang的时候不了解这个，还自己搞了一个 sql.Open的对象管理池，真的非常囧啊。sql.Open函数实际上是返回一个连接池对象，不是单个连接。在open的时候并没有去连接数据库，只有在执行query、exce方法的时候才会去实际连接数据库。在一个应用中同样的库连接只需要保存一个sql.Open之后的db对象就可以了，不需要多次open。gola...
golang sql连接池的实现方法详解
09-20
database/sql是golang的标准库之一，它提供了一系列接口方法，用于访问关系数据库。下面这篇文章主要给大家介绍了关于golang sql连接池用法的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧
使用mysql数据库与go进行交互
tianlongtc的博客
04-28 1899
database/sqldatabase/sql是golang的标准库之一，它提供了一系列接口方法，用于访问关系数据库。它并不会提供数据库特有的方法，那些特有的方法交给数据库驱动去实现。database/sql库提供了一些type。这些类型对掌握它的用法非常重要。****DB**** 数据库对象。 sql.DB类型代表了数据库。和其他语言不一样，它并是数据库连接。golang中的连接来自内部实现的...
Go中MySQL连接池
小知识折射大智慧
09-17 7769
使用MySQL的链接池可能存在如下问题：在客户端连接池中的一条空闲链接，可能是一条已经被MySQL服务端关闭掉的链接。 如果不使用连接池，也会出现别的问题
go mysql连接池_golng mysql库连接池分析
weixin_29089057的博客
01-19 370
0x1 背景golang的协程是好用，但是有时候瓶颈并不在语言上，而是在后面的数据源上面，例如我们常见的mysql，redis等，当一个后端服务很多请求的时候，语言是能hold得住，但是mysql产生错误，比如 too many connection, too many time_wait 等等这些，今天我们就分析一下怎么解决这种问题0x2 代码范例请查看main.go， halokid(有帮...
Go-go-mysql-一个Go工具集用于处理MySQL协议和复制
08-13
`go-mysql` 是一个用Go语言编写的工具集合，专门设计来处理MySQL协议和复制功能。这个库提供了强大的能力，使得开发者能够轻松地在Go应用程序中与MySQL服务器进行交互，以及处理MySQL的主从复制逻辑。在本文中，我们...
golang mysql断线_MySQL的连接池、异步、断线重连-Go语言中文社区
weixin_39860064的博客
01-19 864
MySQL长连接MySQL短连接每次请求操作数据库都需要建立与MySQL服务器建立TCP连接，这是需要时间开销的。TCP连接需要3次网络通信。这样就增加了一定的延时和额外的IO消耗。请求结束后会关闭MySQL连接，还会发生3/4次网络通信。close操作不会增加响应延时，原因是close后是由操作系统自动进行通信的，应用程序感知不到长连接就可以避免每次请求都创建连接的开销，节省了时间和IO消耗。提...
Mysql的Go语言驱动--Go-MySQL-Driver的使用
skh2015java的博客
11-15 9364
一、特性 轻量级与快速原生Go语言，没有C绑定，只有纯Go没有不安全的操作(类型转换等)动态处理崩溃的连接动态连接池支持大于16MB的查询完全 sql.RawBytes支持 二、安装 简单地使用 go tool 在shell中把安装包加到你的$GOPATH
go语言与MySQL数据库（连接池）
u013042928的博客
01-22 7050
下载安装驱动 go get github.com/go-sql-driver/mysql 导入包： import "database/sql" import _ "github.com/go-sql-driver/mysql" 使用sql.Open函数创建一个连接池对象，不是单个连接。在open的时候并没有去连接数据库，只有在执行query、exce方法的时候才会去实际连接数据
go mysql 连接池_go 数据库链接池
weixin_31036469的博客
02-15 166
数据库链接池的实现步骤ConnPooltype ConnPool interface {Get() (*Conn, error) // 获取资源Pulish(*Conn) error // 释放资源,返回池中Shutdown() error // 关闭池}type Connpool struct {lock sync.MutexConnList []*Co...
golang go-sql-drive mysql连接池的实现
思月行云
08-22 1073
http://www.01happy.com/golang-go-sql-drive-mysql-connection-pooling/ golang内部自带了连接池功能，刚开始接触golang的时候不了解这个，还自己搞了一个 sql.Open的对象管理池，真的非常囧啊。 sql.Open函数实际上是返回一个连接池对象，不是单个连接。在open的时候并没有去连接数据库，只有在执行query、...
[Go] golang实现mysql连接池
程序员老狼专注开发aigc或客服系统应用
11-24 288
golang中连接mysql数据库，需要使用一个第三方类库github.com/go-sql-driver/mysql，在这个类库中就实现了mysql的连接池，并且只需要设置两个参数就可以实现 一般连接mysql首先需要调用sql.Open函数，但是此时并没有真正的去连接mysql,而是只创建了一个Db的对象而已。当执行Query或者是Exec方法时，才会去真正的连接数据库。 默认情...
09 | Swoole与Go系列教程之MySQL连接池的应用
最新发布
A码农先森的专栏
03-23 979
MySQL 连接池的出现是为了解决数据库连接频繁创建和销毁的性能问题。在传统的数据库访问方式中，每次操作数据库时都会创建一个新的数据库连接，频繁创建和销毁连接会导致连接无法被有效复用。连接池可以减少了连接的创建和销毁开销，降低了数据库操作的延迟。继而减轻了数据库服务器的负担，提升了数据库的性能和并发能力。MySQL 连接池极大地提升了数据库访问性能和可伸缩性，使得数据库访问更加高效、可靠和稳定。MySQL 连接池的出现是为了解决数据库连接频繁创建和销毁的性能问题。
golang开发MySQL连接池_[Go] golang实现mysql连接池
weixin_29129919的博客
03-04 690
"database/sql""fmt""time"_"github.com/go-sql-driver/mysql")func main() {db, _ := sql.Open("mysql", "root:123456@tcp(127.0.0.1:3306)/gocron")db.SetMaxOpenConns(10)db.SetMaxIdleConns(5)//连接数据库查询for i :=...
数据库连接池
LYQ2332826438的博客
07-14 130
package com.liuyong.util; import java.io.InputStream; import java.io.PrintWriter; import java.lang.reflect.InvocationHandler; import java.lang.reflect.Method; import java.lang.reflect.Proxy; import j...
go如何使用mysql连接池_golang go-sql-drive mysql连接池的实现-Go语言中文社区
weixin_32631729的博客
02-11 629
golang内部自带了连接池功能，刚开始接触golang的时候不了解这个，还自己搞了一个 sql.Open的对象管理池，真的非常囧啊。sql.Open函数实际上是返回一个连接池对象，不是单个连接。在open的时候并没有去连接数据库，只有在执行query、exce方法的时候才会去实际连接数据库。在一个应用中同样的库连接只需要保存一个sql.Open之后的db对象就可以了，不需要多次open。因为普通...
go-数据库连接池
tao911110的博客
07-03 518
https://www.cnblogs.com/bigdataZJ/p/database-sql-connection-pool.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值