Mysql中针对网络IO特点进行的性能优化

网络IO本质上也是IO的一种，是socket的读写；磁盘io(硬盘读写)

Mysql的IO介绍及原因详解，请看上一篇，本篇专注于Mysql的网络IO内幕

目录

一、总序

二、IO简介

三、连接池

四、外部优化

---

一、总序

网络IO的过程，就是操作系统接收到网卡的数据，缓存到一个buffer中，然后应用程序调用操作系统的函数，从对应的buffer中取出数据。

所谓的IO模型，是操作系统提供的IO函数，和具体的语言无关

常见的IO模型，分别是BIO、NIO、Select、POLL、EPOLL，后三者又统称为多路复用器。

返回顶部目录

---

二、IO简介

下面，按照IO模型的发展顺序，以IO模型存在的问题为主线，简单系统地总结一下IO模型，建立起对IO模型的系统认识。

1）BIO，无论是获取新的连接还是读取指定连接的数据，调用操作系统的函数都是阻塞的，如果要实现服务多个连接，就必须每个连接建立一个线程异步处理，否则，当建立起一个连接，但是客户端不发送数据，服务端就会被这个客户端占用，无法接受新的连接。

2）NIO，解决了阻塞的问题，程序调用操作系统的函数，如果没有连接或数据，会立即返回，不会阻塞，避免了资源无效浪费。但是，它的问题在于，如果我有1万个连接，每次我需要挨个询问1万次，这个复杂度是O(n)的。每次询问都是一次系统调用，涉及到CPU的用户态内核态切换，成本很高。

3）Select，这是最初级的多路复用器，从NIO到多路复用器，其实就是一个从多次到批量的演进，多路复用器支持一次询问多个文件描述符（fd）（linux中，一切皆为文件，连接也是文件，有对应的文件描述符）。从多次到批量，就能节省大量的运行态切换成本。但是select的问题在于，批量有上限，是有限的批量。

4）POLL，解决了select的上限问题，一次可以询问任意个数的fd，真正做到了批量。但是，即使减少了运行态切换的成本，针对每次传来的fd，操作系统依然需要逐个遍历，复杂度依然是O(n)，只是每次操作的损耗降低了。

5）EPOLL，解决了POLL和Select存在的遍历问题，将复杂度降为O(1)，操作系统提前维护好用户程序对应的fd，每次有数据到达，就把对应的fd放到一个数据结构中存起来，当用户程序需要读取数据时，直接把这些有状态的fd返回，用户程序一次性获取fd，逐个读取即可。用户只要调用一次，操作系统也不需要遍历。这是目前大部分场景下，最高效的模型。

返回顶部目录

---

三、连接池

数据库连接池技术的思想非常简单，将数据库连接作为对象存储在一个Vector对象中，一旦数据库连接建立后，不同的数据库访问请求就可以共享这些连接，这样，通过复用这些已经建立的数据库连接，可以克服上述缺点，极大地节省系统资源和时间

连接池的操作：
（1）建立数据库连接池对象（服务器启动）。
（2）按照事先指定的参数创建初始数量的数据库连接（即：空闲连接数）。
（3）对于一个数据库访问请求，直接从连接池中得到一个连接。如果数据库连接池对象中没有空闲的连接，且连接数没有达到最大（即：最大活跃连接数），创建一个新的数据库连接。
（4）存取数据库。
（5）关闭数据库，释放所有数据库连接（此时的关闭数据库连接，并非真正关闭，而是将其放入空闲队列中。如实际空闲连接数大于初始空闲连接数则释放连接）。
（6）释放数据库连接池对象（服务器停止、维护期间，释放数据库连接池对象，并释放所有连接）。

返回顶部目录

---

四、外部优化

1、消息队列（引进一个中间件）
通常情况下，用户的请求会直接访问数据库，如果同一时刻在线用户数量非常庞大，极有可能压垮数据库（参考明星出轨或公布恋情时微博的状态）。
这种情况下可以通过使用消息队列降低数据库的压力，不管同时有多少个用户请求，先存入消息队列，然后系统有条不紊地从消息队列中消费请求。

2、分库（分表属于磁盘io一部分）
垂直分库：指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放在不同的服务器上，它的核心理念是专库专用。
水平分库：把同一个表的数据按一定规则拆到不同的数据库中，每个库可以放在不同的服务器上。

3、读写分离
主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数据库一般是准实时的业务数据库。一台服务器充当主服务器，而另外一台服务器充当从服务器。

此时主服务器会将更新信息写入到一个特定的二进制文件中，并会维护文件的一个索引用来跟踪日志循环，这个日志可以记录并发送到从服务器的更新中去。

一台从服务器连接到主服务器时，从服务器会通知主服务器从服务器的日志文件中读取最后一次成功更新的位置。然后从服务器会接收从哪个时刻起发生的任何更新，然后锁住并等到主服务器通知新的更新。

读写分离简单俩说就是基于主从复制架构，一个主库，有多个从库，主库主要负责写，写完后主库会自动把数据给同步给从库。

返回顶部目录