MySQL进阶(一)——Mysql的架构介绍

本篇文章主要是对MySQL学习时的一些总结，作为学习笔记记录。

Mysql简介

• MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司
• MySQL是一种关联数据库管理系统，将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性
• Mysql是开源的
• Mysql是可以定制的，采用了GPL协议，可以修改源码来开发自己的Mysql系统
• Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库
• MySQL使用标准的SQL数据语言形式
• Mysql可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby等
• MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB

在Linux中安装Mysql

下载地址

http://dev.mysql.com/downloads/mysql/

查看Mysql的安装版本

可以通过mysqladmin --version命令查看Mysql的安装版本，不过需要提前将安装的Mysql的bin目录添加到环境变量中。

启动/停止Mysql服务

# 启动
service mysql start

# 重启
service mysql restart

# 停止
service mysql stop

Mysql的安装位置

可以通过下面的命令查看Mysql的安装位置：

ps -ef | grep mysql

结果为：

 上面结果中显示的参数为：

参数	路径	解释	备注
--basedir	/usr/local/mysql	相关命令目录	mysqladmin mysqldump等命令
--datadir	/usr/local/mysql/data	mysql数据库文件的存放路径
--plugin-dir	/usr/local/mysql/lib/plugin	mysql插件存放路径
--log-error	/usr/local/mysql/data/sakura-mysql.err	mysql错误日志路径
--pid-file	/usr/local/mysql/data/sakura-mysql.pid	进程pid文件
--socket	/tmp/mysql.sock	本地连接时用的unix套接字文件
	/usr/local/mysql/support-files	配置文件目录	mysql脚本及配置文件
	/etc/init.d/mysql	服务启停相关脚本

修改字符集

当我们成功安装mysql后，新建数据库、表并在表中插入含有中文的字符时，可能会出现字符乱码的问题：

create database exp;

use exp;

create table user(id int, name varchar(20));

insert into user(id,name) values(1,'张三');

select * from user;

结果为：

这样的结果可能并不是我们想要的，此时我们需要对配置文件进行修改从而使之支持中文字符显示。具体步骤为：

• 查看字符集：从下面的结果可以看出，mysql服务端的字符集为latin1，因此才会导致字符显示乱码。

show variables like '%character%';

 

• 找到my.cnf：在上面表中的mysql的配置文件目录/usr/local/mysql/support-files中找到my-huge.cnf，并将之拷贝到/etc目录下，改名为my.cnf(mysql 优先选中/etc下的配置文件)
• 修改my.cnf：
  • [client]：default-character-set=utf8
  • [mysqld]：character_set_server=utf8
  • [mysqld]：character_set_client=utf8
  • [mysqld]：collation-server=utf8_general_ci
  • [mysql]：default-character-set=utf8
• 重新启动Mysql

但是上述过程之后，会发现对于已经建立的exp数据库和user表来说，还是会发生字符乱码的问题，这是因为修改字符集对于原库的设定不会发生变化，参数修改只会对新建的数据库生效。

Mysql配置文件

二进制日志log-bin

• 主要涉及到主从复制及备份恢复。log-bin中存放了所有的操作记录，可以用于进行备份恢复。
• my.cnf中的log-bin配置为(默认关闭)

 错误日志log-error

记录严重的警告和错误信息，每次启动和关闭的详细信息等(默认关闭)

慢查询日志log

• 记录查询的sql语句，如果开启会降低mysql的整体性能(记录日志也需要消耗系统资源，默认关闭)
• 慢查询中的”慢“可以自行定义
• 慢查询日志会将超过该自定义时间的查询进行记录，方便找到需要优化的sql语句
• 慢查询日志一般用于优化sql语句

数据文件

系统不同

windows系统	存放于安装目录下的data目录
linux系统	/usr/local/mysql/data(与上表内容相同)，可以在配置文件中进行更改，该目录下的每个目录都代表一个同名的库

引擎不同

可以利用下表的语句查看表的数据引擎：

show create table tablename;

mysql自带的库中的表都是以Myisam引擎存储的。 用过Myisam引擎存的表都是一式三份放在数据库同名的文件夹下。

Myisam引擎	frm文件(frameword)：存放表结构
	myd文件(data)：存放表数据
	myi文件(index)：存放表索引
Innodb引擎	ibdata1：Innodb引擎将所有表的数据都存放在ibdata1中，而frm文件则存放在数据库同名的目录中
	frm文件(frameword)：存放表结构
	当设置了set innodb_file_per_table=on;之后，会将表以tablename.ibd的文件名进行存储

进行配置

同时上述文件的打开和存储位置都可以进行配置，其中windows系统通过my.ini文件进行配置，linux系统通过/etc/my.cnf进行配置。

Mysql的用户和权限管理

用户管理

了解user表

查看用户

select host,user,password,select_priv,insert_priv,drop_priv from mysql.user;

结果为：

上图中的各个字段表示的含义为：

• host：表示连接类型
  • %：表示所有远程通过TCP方式的连接
  • 127.0.0.1：表示通过指定IP地址进行的TCP方式的连接
  • sakura-mysql(机器名)：通过指定网络中的机器名进行的TCP方式的连接
  • ::1：IPV6的本地IP地址，等同于IPV4的127.0.0.1
  • localhost：本地方式通过命令行方式的连接(mysql -u name -p)
• user：表示用户名
• password：表示密码
  • 显示的密码是通过明文字符串生成的密文字符串
  • 加密算法为MYSQLSHA1，不可逆
  • mysql5.7中的密码保存到authentication_string字段中，不再使用password字段
• select_priv、insert_priv、drop_priv：该用户所拥有的权限

创建用户

create user 'name'@'localhost' identified by 'password';

表示在本地创建了name的用户，密码为123456。

最后一行表示新建的用户。

设置密码

修改当前用户的密码：

set password = password('newpassword');

修改某个用户的密码：

update mysql.user set password=password('newpassword') where user='username';
flush privileges;   #所有通过user表的修改，必须用该命令才能生效。

修改用户

修改用户名：

update mysql.user set user='new_username' where user='old_username';
flush privileges;   #所有通过user表的修改，必须用该命令才能生效。

删除用户

drop user username;

不要通过delete from user u where user = ‘username’;进行删除，系统会有残留信息保留。

权限管理

查看权限

查看当前用户权限

show grants;

 查看某用户的全局权限

select  * from user ;

查看某用户的某库的权限

select * from  db;

 查看某用户的某个表的权限
 

select * from tables_priv;

由于user、db、tables_priv都是mysql数据库中的表，因此需要实现使用use mysql;进入到mysql数据库中，或者使用mysql.user、mysql.db、mysql.tables_priv等形式。

授予权限

grant 权限1,权限2,…权限n on 数据库名称.表名称 to 用户名@用户地址 identified by ‘连接口令’;

该权限如果发现没有该用户，则会直接新建一个用户。

案例1：给abc用户用本地命令行方式下，授予exp这个库下的所有表的插删改查的权限。

grant select,insert,delete,drop on exp.* to abc@localhost;

可以看出Mysql直接新建了用户abc。

案例2：授予通过网络方式登陆的cba用户，对exp库所有表的全部权限，密码设为123456

grant all privileges on exp.* to cba@'%' identified by '123456';

 

但就算all privileges了所有权限，grant_priv权限也只有root才能拥有。

案例3：授予通过网络方式登陆的root用户，对所有库所有表的全部权限

grant all privileges on *.* to root@'%';

上述方式没有设置连接密码，需要设置密码才能够远程连接。

update user set password=password('new_password') where user='root' and host='%';

收回权限

revoke 权限1,权限2,…权限n on 数据库名称.表名称 from 用户名@用户地址 ;

案例1：收回abc用户用本地命令行方式下对exp库下的所有表的插删改查的权限。

REVOKE select,insert,update,delete ON exp.* FROM abc@localhost;

案例2：收回通过网络方式登陆的cba用户对exp库所有表的全部权限。

REVOKE ALL PRIVILEGES ON exp.* FROM cba@'%';

但上述操作都必须用户重新登陆后才能生效。

通过工具远程访问

除了可以通过终端使用命令行的方式使用mysql的服务之外，还可以利用工具对mysql进行远程访问。具体步骤为：

• 先ping一下数据库服务器的ip地址确认网络畅通。
• 关闭数据库服务的防火墙

service iptables stop

•  确认Mysql中已经有可以通过远程登录的账户   

select  * from mysql.user where user='username' and host='%';

•  如果没有用户,先执行如下命令：

grant all privileges on *.* to username@'%' identified by 'password';

•  测试连接：比如可以使用sqlyog进行远程连接访问

Mysql的一些杂项配置

大小写问题

可以通过命令查看Mysql对大小写的设置：

SHOW VARIABLES LIKE '%lower_case_table_names%';

 虽然Windows系统默认对大小写不敏感，但是Linux系统确实对大小写敏感的。上述变量的参数设置为：

• 默认为0，大小写敏感
• 设置为1，大小写不敏感。创建的表，数据库都是以小写形式存放在磁盘上，对于sql语句都是转换为小写对数据库和表进行查找
• 设置为2，创建的数据库和表依据语句上格式存放，凡是查找都是转换为小写进行

如果需要设置该变量：

• 设置该变量常常采用set lower_cast_table_names = 1;的方式，但由于此变量为只读权限，所以需要在配置文件中进行更改
• 当想要设置为大小写不敏感时，需要在my.cnf配置文件[mysqld]中加入lower_case_table_names = 1，然后重启服务器
• 设置完之后需要在重启数据库示例之前将原来的数据库和表转换为小写，否则更改后将找不到数据库名
• 在进行数据库参数设置之前，需要了解到该参数可能会带来的影响，不可随意设置

sql_mode

sql_mode是个很容易被忽视的变量，默认值是空值，在这种设置下是可以允许一些非法操作的，比如允许一些非法数据的插入。在生产环境必须将这个值设置为严格模式，所以开发、测试环境的数据库也必须要设置，这样在开发测试阶段就可以发现问题。

sql_mode常用值如下：

• ONLY_FULL_GROUP_BY：对于GROUP BY聚合操作，如果在SELECT中的列，没有在GROUP BY中出现，那么这个SQL是不合法的，因为列不在GROUP BY从句中
• NO_AUTO_VALUE_ON_ZERO：该值影响自增长列的插入。默认设置下，插入0或NULL代表生成下一个自增长值。如果用户 希望插入的值为0，而该列又是自增长的，那么这个选项就有用了。
• STRICT_TRANS_TABLES：在该模式下，如果一个值不能插入到一个事务表中，则中断当前的操作，对非事务表不做限制
• NO_ZERO_IN_DATE：在严格模式下，不允许日期和月份为零
• NO_ZERO_DATE：设置该值，mysql数据库不允许插入零日期，插入零日期会抛出错误而不是警告。
• ERROR_FOR_DIVISION_BY_ZERO：在INSERT或UPDATE过程中，如果数据被零除，则产生错误而非警告。如 果未给出该模式，那么数据被零除时MySQL返回NULL
• NO_AUTO_CREATE_USER：禁止GRANT创建密码为空的用户
• NO_ENGINE_SUBSTITUTION：如果需要的存储引擎被禁用或未编译，那么抛出错误。不设置此值时，用默认的存储引擎替代，并抛出一个异常
• PIPES_AS_CONCAT：将"||"视为字符串的连接操作符而非或运算符，这和Oracle数据库是一样的，也和字符串的拼接函数Concat相类似
• ANSI_QUOTES：启用ANSI_QUOTES后，不能用双引号来引用字符串，因为它被解释为识别符
• ORACLE：设置等同：PIPES_AS_CONCAT, ANSI_QUOTES, IGNORE_SPACE, NO_KEY_OPTIONS, NO_TABLE_OPTIONS, NO_FIELD_OPTIONS, NO_AUTO_CREATE_USER.

Mysql逻辑架构介绍

总体介绍

和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。 

从上图Mysql的逻辑架构中我们看出，Mysql的整个架构为一个层级模型，从上到下依次是连接层、服务层、引擎层和存储层。

1.连接层

最上层是一些客户端和连接服务，包含本地socket通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信。主要完成一些类似于连接处理、授权认证及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。

2.服务层

Management Serveices & Utilities：系统管理和控制工具

主要包括备份恢复、安全、复制、集群分区等相关功能

SQL Interface: SQL接口

接受用户的SQL命令，并且返回用户需要查询的结果。比如select from就是调用SQL Interface

Parser: 解析器

SQL命令传递到解析器的时候会被解析器验证和解析。 

Optimizer: 查询优化器

SQL语句在查询之前会使用查询优化器对查询进行优化。 

Cache&Buffer： 查询缓存

• 如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。
• 这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等
• 缓存是负责读，缓冲负责写。

引擎层

存储引擎层，存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API与存储引擎进行通信。不同的存储引擎具有的功能不同，用户可以根据自己的实际需要进行选取。

存储层

数据存储层，主要是将数据存储在运行于裸设备的文件系统之上，并完成与存储引擎的交互。

查询说明

整个查询流程如图：

mysql的查询流程大致是：

• mysql客户端通过协议与mysql服务器建连接，发送查询语句，先检查查询缓存，如果命中(一模一样的sql才能命中)，直接返回结果，否则进行语句解析,也就是说，在解析查询之前，服务器会先访问查询缓存(query cache)——它存储SELECT语句以及相应的查询结果集。如果某个查询结果已经位于缓存中，服务器就不会再对查询进行解析、优化、以及执行。它仅仅将缓存中的结果返回给用户即可，这将大大提高系统的性能。
• 语法解析器和预处理：首先mysql通过关键字将SQL语句进行解析，并生成一颗对应的“解析树”。mysql解析器将使用mysql语法规则验证和解析查询；预处理器则根据一些mysql规则进一步检查解析数是否合法。
• 查询优化器当解析树被认为是合法的了，并且由优化器将其转化成执行计划。一条查询可以有很多种执行方式，最后都返回相同的结果。优化器的作用就是找到这其中最好的执行计划。
• 然后，mysql默认使用的BTREE索引，并且一个大致方向是:无论怎么折腾sql，至少在目前来说，mysql最多只用到表中的一个索引。

Mysql存储引擎

查看存储引擎

查看mysql提供什么存储引擎

show engines;

查看mysql默认的存储引擎

show variables like '%storage_engine%';

各个存储引擎

InnoDB存储引擎

• InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。
• 除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。
• 行级锁，适合高并发情况

MyISAM存储引擎

MyISAM提供了大量的特性，包括全文索引、压缩、空间函数(GIS)等，但MyISAM不支持事务和行级锁(myisam改表时会将整个表全锁住)，有一个毫无疑问的缺陷就是崩溃后无法安全恢复。

Archive引擎

• Archive存储引擎只支持INSERT和SELECT操作，在MySQL5.1之前不支持索引。
• Archive表适合日志和数据采集类应用。
• 适合低访问量大数据等情况。
• 根据英文的测试结论来看，Archive表比MyISAM表要小大约75%，比支持事务处理的InnoDB表小大约83%。

Blackhole引擎

Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存。但服务器会记录Blackhole表的日志，所以可以用于复制数据到备库，或者简单地记录到日志。但这种应用方式会碰到很多问题，因此并不推荐。

CSV引擎

• CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引。
• CSV引擎可以作为一种数据交换的机制，非常有用。
• CSV存储的数据直接可以在操作系统里，用文本编辑器，或者excel读取。

Memory引擎

如果需要快速地访问数据，并且这些数据不会被修改，重启以后丢失也没有关系，那么使用Memory表是非常有用。Memory表至少比MyISAM表要快一个数量级。(使用专业的内存数据库更快，如redis)

Federated引擎

Federated引擎是访问其他MySQL服务器的一个代理，尽管该引擎看起来提供了一种很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的。

MyISAM和InnoDB

对比项	MyISAM	InnoDB
主外键	不支持	支持
事务	不支持	支持
行表锁	表锁，即使操作一条记录也会锁住整个表，不适合高并发的操作	行锁，操作时只锁某一行，不对其它行有影响，适合高并发的操作
缓存	只缓存索引，不缓存真实数据	不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性影响
表空间	小	大
关注点	性能	事务
默认安装	是	是
用户表默认使用	否	是
自带系统表使用	是	否

• InnoDB索引使用B+tree，MyISAM索引使用Btree
• InnoDB主键为聚簇索引，基于聚簇索引的增删改查效率非常高