MySQL技术内幕学习笔记--MySQL体系结构和存储引擎

MySQL技术内幕学习笔记

第一章MySQL体系结构和存储引擎

1. 名词定义：

• 数据库：物理操作系统文件或其他形式文件类型的集合。（frm、MYD、MYI、ibd结尾的文件）。使用NDB引擎时，数据库的文件可能不是操作系统上的文件，而是存放于内存之中的文件。
• 实例： MySQL数据库有后台线程以及一个共享内存区组成。共享内存可以被运行的后台线程所共享。数据库实例才是正在用于操作数据库文件的。
• 实例与数据库的关系通常是一一对应的，即一个实例对应一个数据库。集群情况下可能存在一个数据库被多个数据实例使用的情况。
• 从概念上说，数据库是文件的集合，是依照某种数据模型组织起来并存放于二级存储器中的数据集合；数据库实例是程序，是位于用户与操作系统之间的一层数据管理软件，用户对数据库数据的任何操作，包括数据库定义、数据查询、数据维护、数据库运行控制等都是在数据库实例下进行的，应用程序只有通过数据库实例才能和数据库打交道。

2. MySQL数据库实例在系统上的表现就是一个进程。

​ MySQL被设计为一个单进程多线程架构的数据库（Oracle是多进程的架构）

3. Linux操作系统启动MySQL数据库实例：

# ./mysqld_safe&   //启动
# ps -ef | grep mysqld  //ps观察数据库启动后的进程情况

• 当数据库启动时，MySQL会去读取配置文件，根据配置文件的参数来启动数据库实例。（MySQL数据库会以读到的最后一个配置文件中的参数为准，文件的后缀名可能是.cnf 或.ini）

  # mysql --help | grep my.cnf	//查看哪些位置查找配置文件
  

• 配置文件中有一个参数datadir，指定了数据库所在的路径。

  mysql>SHOW VARIABLES LIKE 'datadir'\G
  

• 通常MySQL数据的权限为mysql:mysql

4. MySQL 体系结构

• 连接池组件
• 管理服务和工具组件
• SQL接口组件
• 查询分析器组件
• 优化器组件
• 缓冲（Cache）组件
• 插件式存储引擎（区别于其他数据库的最重要的一个特点，提供了一系列标准的管理和服务支持，存储引擎时底层物理结构的实现，每个存储引擎开发者都可以按照自己的意愿进行开发。存储引擎的好处：每个存储引擎都有各自的特点，能够根据具体的应用简历不同存储引擎表。）
• 物理文件

存储引擎是基于表的，而不是数据库

5. MySQL存储引擎介绍

存储引擎	介绍
InnoDB	支持事务，其设计目标主要面向在线事务处理(OLTP)的应用，特点：行锁设计、支持外键。 从5.5.8开始，成为默认的存储引擎 将数据放在一个逻辑的表空间中，由InnoDB存储引擎自身进行管理。此外还支持用裸设备(row disk)来建立其表空间 通过多版本并发控制(MVCC)来获得高并发性，实现SQL标准的4中隔离级别。默认为REPEATABLE级别。 同时使用next-key locking的策略来避免幻读。 提供插入缓冲(insert buffer)、二次写(double write)、自适应哈希索引(adaptive hash index)、预读(read ahead)等高性能和高可用的功能 对于表中数据的存储，InnoDB存储引擎采用了聚集(clustered)的方式，因此每张表的存储都是按主键的顺序进行存放。如没有指定主键，会为每一行生成一个6字节的ROWID作为主键。
MyISAM	不支持事务、表锁设计，支持全文索引，主要面向一些OLAP数据库应用。 5.5.8之前默认的存储引擎 缓冲池只有缓存索引文件，而不是缓存数据文件 MyISAM存储引擎表由MYD（用来存放数据文件）和MYI（用来存放索引文件）组成 5.0之前，默认支持的大小为4GB，5.0开始默认支持256TB的单表数据 对于MyISAM存储引擎表，MySQL数据库只缓存其索引文件，数据文件的缓存交由操作系统本身来完成。
NDB	一个集群存储引擎，其结构是share nothing的集群架构，能提供高可用性 特点是： 数据全部放在内存中（5.1开始可以将费所用数据放在磁盘上）因此主键查找速度极快，并且通过添加NDB数据存储节点可以线性地提高数据库性能，是高可用、高性能的集群系统 NDB存储引擎的连接操作是在MySQL数据库层完成的，而不是在存储引擎层完成的（复杂的连接操作需要巨大的网络开销，因此查询速度慢）
Memory(HEAP)	将表中的数据存放在内存中（适用于存储临时数据的临时表以及数据仓库中的维度表） 默认使用哈希索引，查询快。只支持表锁，并发性能较差,不支持TEXT和BLOB列类型 存储变长字段(varchar)时按照定长字段(char)的方式进行，因此会浪费内存 使用Memory作为临时表来存放查询的中间结果集，如果中间结果大于Memory存储引擎表的容量设置，或中间结果有TEXT和BLOB列类型字段，则MySQL数据库会将其转换到MyISAM存储引擎表而存放到磁盘中（这时产生的临时表的性能对于查询会有损失）
Archive	只支持INSERT和SELECT操作，5.1开始支持索引 使用zlib算法将数据行进行压缩后存储，压缩比可达1:10适用于存储归档数据，如日志信息 使用行锁来实现高并发的插入操作，其本身并不是事务安全的存储引擎
Federated	不存放数据，只指向一台远程MySQL数据库服务器上的表 只支持MySQL数据库表，不支持异构数据库表
Maria	支持缓存数据和索引文件，应用了行锁设计，提供了MVCC功能，支持事务和非事务安全的选项，以及更好的BLOB字符类型的处理性能。
其他存储引擎

OLTP和OLAP的区别

OLAP	OLTP
OLAP（On-Line Analytical Processing）联机分析处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。应用在数据仓库，使用对象是决策者。OLAP系统强调的是数据分析，响应速度要求没那么高。	OLTP（On-Line Transaction Processing）联机事务处理，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分析的特征。主要应用是传统关系型数据库。OLTP系统强调的是内存效率，实时性比较高。

• 查看当前使用的MySQL数据库所支持的存储引擎

  mysql>SHOW ENGINES\G
  

6. 连接MySQL

​ 连接MySQL操作是一个连接进程和MySQL数据库实例进行通信，本质上是进程通信（进程通信方式有 管道、命名管道、TCP/IP套接字、UNIX域套接字）

通信方式	介绍
TCP/IP	该方式是MySQL数据库在任何平台 下都提供的连接方式，也是网络中使用得最多的一种方式。 这种方式在TCP/IP连接上建立一个基于网络的连接请求，一般情况下客户端在一台服务器上，而MySQL实例在另一台服务器，这两台机器通过一个TCP/IP网络连接。
命名管道和共享内存	（Windows）需要通信的进程在同一台服务器上，使用命名管道，Microsoft SQL server数据库默认安装后的本地连接使用命名管道。MySQL数据库中需在配置文件中启用 --enable-named-pipe 4.1之后提供了共享内存的连接方式，通过在配置文件中添加 --shared-memory实现 使用共享内存连接时，MySQL客户端还必须使用 --protocal=memory选项
UNIX域套接字	(Linux和UNIX环境也可使用) UNIX域套接字不是一个网络协议，只能在MySQL客户端和数据库实例在一台服务器上的情况下使用 可以在配置文件中置顶套接字文件的路径

>mysql -h192.168.0.101 -u root -admin	//通过TCP/IP方式连接数据库
mysql>SKOW VARIABLES LIKE 'socket';		//查找UNIX域套接字文件路径
# mysql -uroot -S 文件路径	//使用UNIX域套接字方式连接