MYSQL DBA-OPS

本文详细阐述了MySQL的架构体系,包括客户端连接层、MySQL服务器层、存储引擎层及其对应的文件系统,同时对比了InnoDB与MyISAM存储引擎的主要区别。此外,文章还介绍了MySQL中控制内存分配的全局参数、InnoDB支持的事务隔离级别、VARCHAR字段长度的理解以及优化SQL语句的方法。
摘要由CSDN通过智能技术生成

[ACID]
A:atomicity
C:consistency
I:isolation
D:durability

1. 请用图框的方式大致地描绘出MySQL架构体系.
   

第一层: client Connector
     ODBC、jdbc、api(C/JAVA/PERL/PYTHON/PHP)

第二层:MYSQL server 模块
     thread connection pool/cache
     sql interface(DDL/ DML/ TRIGGER/ VIEW /STORE PROCEDURE/ EVENT等)
     sql parse & check privileges
     sql optimize(explian)
     server 统计/buffer:query cache
     server admin manager command: backup restore security replicate 等

第三层:存储引擎
     myisam/innodb/blackhole/archive/memory/merge/NDB
     存储引擎是基于表

第四层:存储引擎相应的文件
     logs file:binlog/err/general/slow.server 层维护
     myisam: frm/myi/myd
     innodb: frm/ibd(index&data)/redo log/Undo log(5.7)




2. 限定MySQL5.5及以下为例,InnoDB存储引擎与MyISAM存储引擎的区别,至少写四点.

 

http://dev.mysql.com/doc/refman/5.5/en/innodb-storage-engine.html
http://dev.mysql.com/doc/refman/5.5/en/myisam-storage-engine.html
http://blog.sina.com.cn/s/blog_98cf2a6f01015md5.html

MYISAM(5.5.8前) INNODB
锁: 表锁 行锁
存储限制 256TB 64TB
文件类型 FRM/MYD/MYI FRM/ibdata
数据保存 堆表 索引组织表
外键 NO YES
事务: NO YES.4种隔离级别
MVCC(实现一致性非锁定读) NO YES
mvcc通过读取undo段内容生成的最新快照数据

# tablespace包含的内容
索引缓存 YES YES
数据缓存 NO YES

查询缓存 YES YES
# index
二级索引叶节点 行地址 行主键
B-tree index YES YES
T-tree index NO NO
Hash index NO NO,adaptive
fulltext index YES 5.6后支持
空间数据 YES YES
空间索引 YES NO
索引max长度(byte) 1000 768(1-2byte head)

memcache NO 5.6后支持


[color=red]在server层实现,并不是存储引擎实现的功能[/color]
压缩数据 支持(只读) 支持,但必须是Barracuda file format
加密数据 支持
同步 支持
备份
点恢复

[备份]
# 单表备份
myisam 可以直接拷贝frm/myd/myi文件即可
innodb 不能直接拷贝文件


[other]
表行数:innodb需要全部遍历/ MYISAM实时维护,不需要全表遍历。
auto_increment: 列上必须有索引,但innodb必须是第一列/myisam可以是任何一列

# innodb
-- 5.5 1.1
faster add/drop second index:copy data改为inplace
insert buffer(二级索引更新效率)
double write(写安全)
adaptive hash index(读效率)
aio(asynchronous io)提供磁盘读效率。
一次select扫描多次索引页(IO离散读),没扫描一次索引,需要等待完成才能开始下次扫描,而异步IO可以发出IO扫描指令后,不需要等待返回结果,立即发送下一个IO扫描指令,并行进行扫描
flush neighbor page(提供写效率,多个IO合为1个IO).ssd硬盘不需要开启
-- 5.6 1.2
memcache
fulltext
#myisam
单表最多2^63行
每个索引最多16个列
每个表最多64个索引
支持并发插入concurrent inserts
可以结合merge引擎,将多个表组合为1个表

  


3. MySQL中控制内存分配的全局参数,有哪些?(注:至少写6个以上)

 


binlog_cache_size:Global, 5.9之后只是针对事务语句的cache, 大事务需要增加此值
binlog_stmt_cache_size:Global,非事务语句cache, 5.9之后废弃
max_binlog_size:Global,binlog文件最大值
max_heap_size:Global
tmp_table_size:Global, Session
using temporary table时,在session中设置此值,超过则memory改为disk myisam表

query_cache_size:Global
query_cache_limit:Global,查询结果超过此值则不进入缓存,防止大查询将cache清空
thread_cache_size:Global
bulk_insert_buffer_size:Global,Session
insert ... select ..; insert values (...),(...);load data infile
join_buffer_size:Global,Session
complex查询涉及多个表join时就需要使用多个join buffer
sort_buffer_size:Global,Session
table_definition_cache:Global
表多时,需要增加此值。太小会影响表打开速度,不占文件描述符
table_open_cache:Global,Session。占用文件描述符
1个表被N个线程使用,会被打开N次
1个表在当线程内也会被打开M次。select * from tb as t1,tb as t2;则tb被打开2次
如果打开表时cache满了,并且所有表都在使用,则cache会被临时扩展,当某个表可被回收时则释放临时扩展的空间
# myisam
MYD每个线程一个文件描述符,MYI所有线程公用一个文件描述符

[innodb]
innodb_buffer_pool_size:Global
innodb_additional_mem_pool_size:Global,申请的操作系统缓存,不占用buffer pool
innodb_log_buffer_size:Global
innodb_log_file_size:Global
[myisam]
key_buffer_size:Global
影响索引更新速度,越大越快?
read_buffer_size:Global,Session
对表做连续表数据扫描时使用
read_rnd_buffer_size:Global, Session
用key进行order,并且进行(非连续)扫描表数据时使用

 



4. 请简洁地描述下MySQL中InnoDB支持的四种事务隔离级别名称,以及逐级之间区别?

read uncommitted:未提交读。可以读取到其他线程修改(未提交)的数据
read committed:提交读。只能读取到其他线程已经提交的数据
                         解决脏读,修改的数据可能最后未提交
                        只锁定索引,并且不锁定索引前的间隙
repeatable read:可重复读。不能读取到其他线程提交的数据
                         间隙锁解决幻读
                         使用唯一索引进行等值查询,则只锁定索引,不锁定索取前间隙
                         其他查询,则不仅锁定索引,并且锁定索取范围包含的间隙
                            
serializable:串行化读。所有的访问都串行化
           将select转为select ... lock in share mode






5. 小题集锦
1>.VARCHAR(N) 或 CHAR(N)中的N含义是:

N个字符。1个字符不同字符集下占用的字节数不一样



2>.若一张表中只有一个字段VARCHAR(N)类型,utf8编码,则N最大值为多少(精确到数量级即可):

N=FLOOR((65535-1-2)/3)



3>.表中有大字段X(例如:text类型),且字段X不会经常更新,以读为为主,请问您
是选择拆成子表,还是继续放一起,并且写出您的 理由?

答案:拆为子表。
理由:提高其他字段的查询(select/update)效率,因为每页保存的行数越多,效率越高。
    X字段更新效率低,
    单行的读取效率降低不大,但如果每次查询的行数越多,影响越大



4>.MySQL中InnoDB引擎的行锁是通过加在什么上完成(或称实现)的:
A. 数据块
B. 索引值

选择答案后,告诉我们为什么?

答:索引值。innodb表数据是索引组织表形式存放
  但是对索引页加锁,采用位图方式实现([color=red]如何实现[/color])

  锁:提供共享资源的并发访问,保证数据的完整性、一致性

sqlserver:2005前,页级锁;之后乐观并发,悲观并发。乐观并发支持行级锁
但和innodb实现方式不同,sql server下锁是稀有资源,某种情况下会升级为表锁

innodb、oracle:提供一致性的非锁定读、行级锁(没有相关额外开销)
  通过索引查询时,主键锁的是key,辅助索引锁的是范围

   锁的两个概念:latch、lock
   latch:线程使用,轻量级锁,锁定内存数据结构
        锁定时间必须很短。可再分为mutex(互斥锁)、rwlock(读写锁)。
       目的是用来保证并发线程操作临界资源的正确性,
        并且没有死锁检测,有mysql server保证
   lock:事务使用,锁定的对象:表、页、行。commit或rollback后释放

   意向锁:表级别的锁,表示下一行被请求的锁类型

   locks rec but not gap:
         表示锁住的是索引,而不是范围。
       有死锁检测
        有死锁检测




     5>.username字段定义为VARCHAR(40)和VARCHAR(200) 有啥区别?

       答:临时表varchar(200)占用空间更大,最好按实际需求分配



5>.MySQL数据库备份方式有那几种(只讨论InnoDB存储引擎),至少写四种。
关服务,直接拷贝ibd、frm、redolog、my.cnf

select ... into outfile;对应load data infile 恢复
    fileds terminated by 'x';每个列的分隔符。默认'\t'
    optionally encolsed by 'x';字符串的包含符。默认''
    escaped by 'x':转义符,默认为'\\'
    starting by 'x';每行的开始符。默认''
    terminated by 'x':每行结束符。默认'\n'

mysqldump:对应mysql恢复
   single-transaction:备份开始先执行start transaction
      但不能有DDL操作,否则无法保证一致性读
   master-data:如果没有指定single-transaction,则用lock-all-tables
       1:显示master status,并且change master
       2:只显示change,但不执行

mysqlimport:与load data infile类似,但支持导入多个表,表之间并发导入

二进制日志binlog备份
    通过mysqlbinlog命令从binlog提取sql

xtrabackup
    先记录当前redo位置
    然后拷贝共享表空间和独立表空间数据
    最后根据redo日志和开始位置,重做redo

快照备份LVM
    [color=red]实现方式[/color]
    http://www.cnblogs.com/gaojun/archive/2012/08/22/2650229.html


6. MySQL复制搭建M->N的过程,请简述各个步骤?(备注:M已经在线跑,N为新安装的MySQL服务器)

 [color=red]不完整,待补充[/color]
1> .主库授权:grant replication slave on *.* to 'xx'@'xxx' identified by 'xx';
2>.配置N的my.cnf:
  server_id
3>.mysqldump -uxx -pxx -AER --single-transaction --master-data > mas.sql
4>.slave导入mas.sql,如果没有master-data,则需要手动change master
5>.开启start slave;
6>.检查同步状态show slave status;


7. 看图分析(申明:应用程序未有任何版本变更)


1>.图出现什么样的现象,及现象之间的关联性?


2>.通过图信息分析得出可能什么原因造成的?


3>.分析除原因后,告知如何解决?


4>.请简述你是如何思考分析的?
答:


8. SQL语句优化
原SQL语句:
SELECT ID,WAYBILL_NO,EXP_TYPE,PKG_QTY,EXPRESS_CONTENT_CODE,EFFECTIVE_TYPE_CODE
FROM T_EXP_OP WHERE ORDERID NOT IN(SELECT ORDERID FROM T_EXP_OP WHERE AUX_OP_CODE IN ('NEW','UPDATE','DELETE') AND ((OP_CODE IN (176, 162, 171, 131, 136)AND EXP_TYPE IN ('10', '20', '30')) OR (OP_CODE IN (191, 121)AND EXP_TYPE IN ('10', '20')) OR (OP_CODE IN (181, 111)AND EXP_TYPE = '10'))) LIMIT 10;

条件:
T_EXP_OP表主键为BIGINT类型的ID字段,存储引擎为InnoDB,无其他索引

优化后为(提示:优化成一条简单的SQL语句,即无子查询,无JOIN关联):



9. 分页SQL语句优化
原SQL语句:
SELECT * FROM test FORCE(idx_m_n) WHERE m=1 ORDER BY n LIMIT 1000,10;

条件:
Test表为InnoDB存储引擎,主键为BIGINT类型的ID字段,二级索引:idx_m_n(m,n)
优化后为:


请简述优化的理由:

索引改为: idx_mn(m,n,ID);
SELECT ID FROM test FORCE(idx_m_n) WHERE m=1 ORDER BY n LIMIT 1000,10; 
SELECT * FROM test WHERE ID IN (ids);



10. 语句挑错
SQL语句:
SELECT M.columnname……,N.* columnname…..
FROM left_table M  LEFT JOIN right_table N
ON M. columnname_join=N. columnname_join  AND N. columnname=XXX AND M.columnname=XXX

请问本SQL语句哪里不合理,为啥不合理?

空格符不明确,忽略






11. [SELECT *] 和[SELECT 全部字段]的2种写法有何优缺点,至少写出四点

a:代表 select *
b:代表 select 全部字段
1>.a需要解析数据字典,b不需要
2>.输出顺序:a与建表列顺序相同,b按指定字段顺序
   如果字段调整顺序,a受影响,b不受影响
3>.表新增字段,浪费网络流量:a每次都返回所有字段,b只返回指定字段
4>.表字段改名:a不用改,b需要改
5>.b比a的可读性高
6>.b可以建索引优化,a无法优化



12. HAVNG 子句 和 WHERE的异同点,至少写出3点

1>.语法:where用表中列名,having用select结果别名
2>.影响结果范围: where 从表读出数据的行数,having返回客户端的行数
3>.索引:where可以使用索引,having不能使用索引,只能在临时结果集操作
4>.



13. 分布式数据库产品的特点(至少写4条)

1>.冗余,不存在单点故障,可靠性高
2>.数据分布在多个异地机房,容灾性好
3>.扩展简单
4>.不要求单机性能,但总体成本/管理成本都比较高
5>.受网络影响较大
产品:
http://www.mysqlops.com/2012/04/05/mysql-cluster-%E4%B8%8E-mongodb-%E5%A4%8D%E5%88%B6%E9%9B%86%E5%88%86%E7%89%87%E8%AE%BE%E8%AE%A1%E5%8F%8A%E5%8E%9F%E7%90%86.html
MySQL Cluster NDB
HBase
Oceanbase



14. 数据拆分架构 的优缺点(至少写8条)

1>.
2>.
3>.
4>.
5>.
6>.
7>.
8>.
9>.
 


  
15. 工作是否还有MySQL疑难至今未解决(备注:有,请简洁描述;若无,请写无)?

答:
连接握手未完成,但mysql的show processlist特别少
   改为nignx后正常,不明原因

where a between 范围 group by b
   如何提高效率


  
  
  
  
16. 你对自己的未来3-5年的规划,以及近期1-2年的规划
答:
       1>.近期3-5年的规划



       2>.近期1-2年的规划
      
      
      


邮件地址:jinguanding@hotpu.cn
固定电话:021-6155 9355
移动电话:136 6166 8096




追加
安装注意:
    开启performance_schema功能:-DWITH_PERFSCHEMA_STORAGE_ENGINE=1

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值