一文看懂mysql数据库目录结构、核心库以及数据库启动过程

概述

今天主要从源码层面梳理mysql数据库目录结构、核心库以及启动过程中调用函数的顺序和作用。

 

---

1、MySQL目录结构

 

•build: 内含有各个平台、各种编译器下进行编译的脚本。如compile-pentium-debug表示在pentium架构上进行调试编译的脚本。
•client: 客户端工具，如mysql,mysqladmin之类。
•cmd-line-utils: readline,libedit工具。
•config: 给aclocal使用的配置文件。
•dbug: 提供一些调试用的宏定义。
•Docs: MySQL在不同平台下的参考手册
•extra: 提供innochecksum,resolveip等额外的小工具。
•include: 包含的头文件
•libmysql: 库文件，生产libmysqlclient.so。
•libmysql_r: 线程安全的库文件，生成libmysqlclient_r.so。
•libmysqld: 嵌入式MySQL Server库.
•libservices: 5.5.0中新加的目录，实现了打印功能。
•man: 适合man命令查看的帮助文件。
•mysql-test: mysqld的测试工具套件。
•mysys: 为实现跨平台，MySQL自己实现了一套常用的数据结构和算法，如string, hash等。还包含一些底层函数的跨平台封装,一般以my_开头。
•netware: 在netware平台上进行编译时需要的工具和库。
•plugin: MySQL 5.1开始支持一个插件式API接口,不需要重启mysqld即可动态载入插件,FullText就是一个例子。
•pstack: GNU异步栈追踪工具。
•regex: 正则表达式实现(来自多伦多大学Henry Spencer大牛的源码)。
•scripts: 提供脚本工具，如mysql_install_db/mysqld_safe等。
•server-tools: 包含instance_manager子目录,负责实例的本地和远程管理。
•sql: MySQL Server主要代码，将会生成mysqld文件。
•sql-bench: 一些基准测试代码代码,主要是Perl程序(虽然后缀是sh)。
•sql-common: 存放部分服务器端和客户端都会用到的代码,有些地方的同名文件是这里lin过去的。
•storage: 存储引擎所在目录。
•strings: string库,包含很多字符串处理的函数。
•support-files: my.cnf示例配置文件及编译所需的一些工具。
•tests: 测试文件所在目录。
•unittest: 单元测试文件。
•vio: 虚拟io系统，是对network io的封装,把不同的协议封装成统一的IO函数。
•win: 在windows平台编译所需的文件和一些说明。
•zlib: zlib算法库(GNU)

---

2、InnoDB目录结构

•btr: B+树的实现
•buf: 缓冲池的实现,包括LRU算法,Flush刷新算法等
•dict: InnoDB内存数据字典的实现
•dyn: InnoDB动态数组的实现
•fil: InnoDB文件数据结构以及对于文件的一些操作
•fsp: 对InnoDB物理文件的管理,如页/区/段等(即File Space)
•ha: 哈希算法的实现
•handler: 继承与MySQL的handler,实现handler API与Server交互
•ibuf: 插入缓冲(Insert Buffer)的实现
•include: InnoDB所有头文件都放在这个目录,是查找结构定义的最佳地点
•lock: InnoDB的锁实现及三种锁算法实现
•log: 日志缓冲(Log Buffer)和重做日志组(Redo Log)的实现
•mem: 辅助缓冲池(Additional Memory Pool)的实现,用来申请一些内部数据结构的内存
•mtr: 事务的底层实现(日志,缓冲)
•os: 封装一些对于操作系统的操作
•page: 页的实现,研究InnoDB文件结构,这个目录至关重要
•pars: 重载部分MySQL的SQL Parser(有待商榷)
•que: Query graph,基本上没啥用
•read: 读取游标的实现
•rem: 行管理操作(比较操作,打印等)
•row: 对于各种类型行数据操作的实现
•srv: InnoDB后台线程,启动服务,Master Thread,SQL队列等
•sync: InnoDB互斥变量(Mutex)的实现,基本同步机制
•thr: InnoDB封装的可移植线程库
•trx: 事务的实现
•usr: Session管理
•ut: 各种通用小工具

---

3、核心类库

•THD: 线程类
•Item: Item类(查询条目,函数,WHERE,ORDER,GROUP,ON子句等)
•TABLE: 表描述符
•TABEL_LIST: JOIN操作描述符
•Field: 列数据类型及属性定义
•LEX: 语法树
•Protocol: 通讯协议
•NET: 网络描述符
•handler: 存储引擎接口

---

4、核心函数库

4.1、内存操作:

•init_alloc_root: 内存池初始化,生成内存池根(MEM_ROOT)
•alloc_root: 申请内存池内存,从mem_root制定的内存池申请内存块
•free_root: 释放内存池,通过MyFlags指定哪种内存可以被释放

4.2、文件操作:

•my_open: 打开一个文件
•my_close: 关闭一个文件
•my_b_flush_io_cache: 讲数据从内存缓冲写到物理磁盘
•end_io_cache: 释放一个IO_CACHE对象

4.3、哈希操作:

•_hash_init: 初始化HASH描述符
•hash_search: 搜索哈希表,调用hash_first
•hash_first: 返回哈希表中找到的第一个行指针,否则返回0

4.4、字符串操作:

•strappend:填充字符串
•strmov: 移动字符串到新地址

---

5、主要函数

主要函数和流程包括：

1. 初始化系统变量和系统状态

2. 初始化服务器的各个模块

以下为源码层面各个函数的基本说明：

源码分析
main 
 mysqld_main(argc, argv) 
 | pre_initialize_performance_schema(); 初始化performance shcema相关内容
 | my_init() 
 | load_defaults(MYSQL_CONFIG_NAME, load_default_groups, &argc, &argv) 读取配置文件 
 | init_pfs_instrument_array 初始化performance shcema相关内容
 | handle_early_options 初始化部分变量，为mysqld初始化系统表等做准备
 | my_long_early_options变量设置，包括bootstrap、skip-grant-tables、help、verbose、version、initialize、initialize-insecure
 | init_sql_statement_names 初始化命令，为后续status统计操作数量做准备
 | sys_var_init() 初始化系统变量hash桶，将所有的系统变量插入到hash桶中(这里的变量为sys_vars.cc中定义的变量)
 | init_error_log 初始化error log 锁
 | mysql_audit_initialize 初始化audit plugin锁，为后续初始化audit plugin做准备
 | query_logger.init(); 初始化general log和slow log的锁
 | init_common_variables() 所有变量相关内容初始化，包括变量本身的值以及部分变量控制的特性
 | init_server_components() 服务器各个模块的初始化，包括
 | init_server_auto_options() 初始化UUID
 | if (gtid_state->read_gtid_executed_from_table() == -1) 从gtid_execute表中读取gtid_execute
 | if (opt_bin_log)
 | gtid_state->get_executed_gtids()/gtid_state->get_lost_gtids() .... 如果开启了binlog，则初始化gtid相关信息
 | 将gtid 信息更新到 mysql_bin_log中
 | 将表中记录的gtid信息与binlog同步(包括purge，crash recovery恢复等)
 | init_ssl()/network_init 初始化ssl和网络
 | create_pid_file(); 创建pid文件
 | acl_init(opt_noacl) 初始化用户名、密码等信息缓存，并将user表中的内容读取缓存
 | grant_init(opt_noacl) 初始化权限缓存，将tables_priv等表中的权限信息读取缓存
 | servers_init(0); 初始化mysql.servers表，并读入缓存
 | udf_init(); 初始化用户自定义函数
 | init_status_vars(); 初始化系统状态，system status排序
 | init_slave() 初始化slave相关的结构体
 如存在复制相关的信息，同时skip_slave_start未设置，则启动复制 
 | execute_ddl_log_recovery 执行ddl语句的crash recovery
 | start_signal_handler(); 创建信号处理线程，处理信号SIGTERM/SIGQUIT/SIGHUP
 | if (opt_bootstrap) error= bootstrap(mysql_stdin); 初始化数据目录、系统表
 | if (opt_init_file && *opt_init_file) read_init_file(opt_init_file) 从文件中初始化数据目录、系统表
 | mysqld_socket_acceptor->connection_event_loop(); 监听端口和sock文件，等待客户端连接
 init_common_variables() 所有变量相关的初始化
 | init_thread_environment 初始化全局mutex和condition
 | mysql_init_variables 设置部分全局变量的默认值
 | if (gethostname(glob_hostname,sizeof(glob_hostname)) < 0) ...... 生成pid文件
 | 设置默认存储引擎 
 | if (add_status_vars(status_vars)) 将全局变量status_vars中的系统 status存入all_status_vars中
 | get_options 将设置的系统变量的值更新到系统变量中
 | set_default_auth_plugin 设置默认的身份验证插件(通常为native_password)
 | set_server_version 设置mysql版本的后缀(-embedded、-log、-debug...)
 | init_errmessage/init_client_errs 初始化error message 
 | item_create_init/item_init 初始化所有的item类和函数(解析和后续执行使用)
 | 初始化 charset/collation
 | lex_init 初始化解析sql使用的lex
 | 初始化general log 和 slow log的日志名
get_options 将文件中、命令行中设置的参数，设置到系统参数中
 |将my_long_options存入all_options
 |将all_sys_vars存入all_options 所有的系统变量均已存入all_options中
 |将 {0, 0, 0, 0, 0, 0, GET_NO_ARG, NO_ARG, 0, 0, 0, 0, 0, 0}; 存入all_option 作为结束符
 |handle_options 
 |if (Connection_handler_manager::init()) 初始化连接管理模块
 |if (Global_THD_manager::create_instance()) 初始化线程管理模块
 init_server_components()
 | mdl_init 初始化mdl锁
 | table_def_init/hostname_cache_init/my_timer_initialize
 | init_server_query_cache query cache初始化
 | randominit 随机数初始化 
 | init_slave_list 初始化从机hash桶
 | transaction_cache_init() 事务缓存hash桶和锁初始化
 | delegates_init delegates用于执行回调函数
 | if (opt_bin_log) 如果变量中开启了binlog 
 | 生成binlog_index 和 binlog的文件名
 | if (opt_relay_logname) 如果变量中开启了relaylog
 | 生成relaylog_index 和 relay log的文件名
 | if (ha_init_errors()) 将handler模块的错误信息注册到mysqld的my_error中
 | if (gtid_server_init()) 初始化gitd结构体
 | if (plugin_init(&remaining_argc, remaining_argv ... 初始化所有的插件(包括编译、配置、命令行加载的参数)
 | query_logger.set_handlers(log_output_options); 初始化general log/slow log的日志处理模块
 | if (initialize_storage_engine(default_storage_engine, "".... 初始化默认的存储引擎
 | if (tc_log->open(opt_bin_log ? opt_bin_logname : opt_tc_log_file)) tc_log打开binlog，主要用于binlog和存储引擎的recovery使用，打开当前index中最后一个文件
 | if (ha_recover(0)) recovery
 | if (mysql_bin_log.open_binlog(opt_bin_logname, 0, mysql_bin_log打开binlog，生成新的binlog，在index文件中加入新的内容
 | mysql_bin_log.purge_logs_before_date(purge_time, true); 如果开启了复制，同时开启了binlog定期删除时间，删除过期的binlog
 | init_max_user_conn(void) 初始化连接hash桶
 | init_update_queries(); 初始化server_command_flags结构体，用于命令统计

入口函数在sql/main.cc文件中，里面只有一个函数，它又调用了mysqld_main,从这个函数开始到结束，就完成了mysqld的启动操作。

/* 
 main() for mysqld.
 Calls mysqld_main() entry point exported by sql library.
*/
extern int mysqld_main(int argc, char **argv);
int main(int argc, char **argv)
{
 return mysqld_main(argc, argv);
}

 

---

7、MySQL启动流程

主要代码在sql/mysqld.cc中，精简后的代码如下：

int main(int argc, char **argv) //标准入口函数
MY_INIT(argv[0]);//调用mysys/My_init.c->my_init()，初始化mysql内部的系统库
logger.init_base(); //初始化日志功能
init_common_variables(MYSQL_CONFIG_NAME,argc, argv, load_default_groups) //调用load_defaults(conf_file_name, groups, &argc, &argv)，读取配置信息
user_info = check_user(mysqld_user);//检测启动时的用户选项
set_user(mysqld_user, user_info);//设置以该用户运行
init_server_components();//初始化内部的一些组件，如table_cache, query_cache等。
network_init();//初始化网络模块，创建socket监听
start_signal_handler();// 创建pid文件
mysql_rm_tmp_tables() || acl_init(opt_noacl)//删除tmp_table并初始化数据库级别的权限。
init_status_vars(); // 初始化mysql中的status变量
start_handle_manager();//创建manager线程
handle_connections_sockets();//主要处理函数，处理新的连接并创建新的线程处理

---

觉得有用的朋友多帮忙转发哦！后面会分享更多devops和DBA方面的内容，感兴趣的朋友可以关注下~