安装环境:CentOS6.5 64位
1> cmake
mysql使用cmake跨平台工具预编译源码,用于设置mysql的编译参数。如:安装目录、数据存放目录、字符编码、排序规则等。安装最新版本即可。
2> make3.75
mysql源代码是由C和C++语言编写,在linux下使用make对源码进行编译和构建,要求必须安装make 3.75或以上版本
3> gcc4.4.6
GCC是Linux下的C语言编译工具,mysql源码编译完全由C和C++编写,要求必须安装GCC4.4.6或以上版本
4> Boost1.59.0
mysql源码中用到了C++的Boost库,要求必须安装boost1.59.0或以上版本
5> bison2.1
Linux下C/C++语法分析器
6> ncurses
字符终端处理库
1. 所以在安装前,需先安装相关的依赖库:
yum install -y
cmake make gcc gcc-c
++
bison ncurses ncurses-devel
> tar -zxvf boost_1_59_0.tar.gz -C /usr/
local
/
二、下载MySQL源码
从github上下载
mysql的源码
shell
> cd /opt
shell
> git clone
https
://github.com/mysql/mysql-server.git
shell
> ls mysql-server
如果没安装git客户端,执行
yum install -y git
安装。 (此处更新了yum源 使用阿里的yum源)
mysql源码目录
查看MySQL源码分支:
shell>
git branch -r
origin/5.5origin/5.6origin/5.7origin/HEAD -> origin/5.7origin/
cluster
-7.2origin/
cluster
-7.3origin/
cluster
-7.4origin/
cluster
-7.5
>
git checkout 5.6
三、安装
1> 添加mysql用户
shell
> cd /opt/mysql-server
shell
> groupadd mysql
#添加mysql用户组
shell
> useradd -r -g mysql -s /bin/
false
mysql
#添加mysql用户
3
2> 配置mysql预编译参数(
原文有几个参数写错导致编码安装出现问题
) 应该参考官方文档
重####
果中途编译失败了,需要删除cmake生成的预编译配置参数的缓存文件和make编译后生成的文件,再新编译。
###
shell
> cd /opt/mysql-server
###
shell
> rm -f CMakeCache.txt
###
shell
> make clean
shell>
cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_DATADIR=/usr/local/mysql/data \
-DWITH_BOOST=/usr/local/boost_1_59_0 \
-DSYSCONFDIR=/etc \
-DDEFAULT_CHARSET=utf8mb4 \
-DDEFAULT_COLLATION=utf8mb4_general_ci \
-DENABLED_LOCAL_INFILE=1 \
-DWITH_EXTRA_CHARSETS=all
- -DCMAKE_INSTALL_PREFIX:安装路径
- -DMYSQL_DATADIR:数据存放目录
- -DWITH_BOOST:boost源码路径
- -DSYSCONFDIR:my.cnf配置文件目录
- -DDEFAULT_CHARSET:数据库默认字符编码##(这里原文少些一个D)
- -DDEFAULT_COLLATION:默认排序规则
- -DENABLED_LOCAL_INFILE:允许从本文件导入数据
- -DWITH_EXTRA_CHARSETS:安装所有字符集###(这里原文写成 DEXTRA_CHARSETS)
更多预编译配置参数请参考mysq
l官方文档说明:
http://dev.mysql.com/doc/refman/5.7/en/source-configuration-options.html#cmake-general-options
3> 编译并安装
shell>
make
-j
`grep processor /proc/cpuinfo | wc -l` 多个线程同时编译
shell>
make
install
4> 初始化系统数据库
shell
> cd /usr/
local
/mysql
shell
> chown -R mysql:mysql .
# 注意:MySQL 5.7.6之前的版本执行这个脚本初始化系统数据库
shell
> ./bin/mysql_install_db
--user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
# 5.7.6之后版本初始系统数据库脚本(本文使用此方式初始化)
shell
> ./bin/mysqld
--initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data ###(本案例使用这个) 这个在执行的时候出现了很多错误折腾了2天才解决。查看错误列表中错误1:
shell
> ./bin/mysql_ssl_rsa_setup
shell
> chown -R root .
shell
> chown -R mysql data
注意:如果使用–initialize参数初始化系统数据库之后,会在~/.mysql_secret文件中生成root用户的一个临时密码,同时也在初始化日志中打印出来了,如下图红圈中所示:
5、配置文件及参数优化
shell> cp support-files/my-default.cnf /etc/my.cnf ###(这个并没有这个文件,
从5.7.18开始不在二进制包中提供my-default.cnf文件 由于在5.7.18开始,二进制包不再包含示例文件my-default.cnf,所以我从5.7.17版本中提取了样例,但是发现里面也没有太多项配置
)
shell> vim /etc/my.cnf
提示:上述的文件不建议全部拷贝使用,当需要哪块时单独复制是最好的,因为每台服务器的需求都不一样。
注意:官方建议二进制文件是防止在/usr/local下,my.cnf当然可以放在默认位置之后,还可以直接指定在二进制文件夹中等。然后现在新版的Linux是建议第三方软件放在/opt下,我觉都可以,建议按照官网的来配置最好,方便排查问题。
[client]port
= 3306
socket
= /tmp/mysql.
sock
#####这里改为: /usr/local/mysql/mysql.sock
[mysqld]
###############################基础设置######################################
Mysql服务的唯一编号 每个mysql服务Id需唯一server-id
= 1#
服务端口号 默认3306port
= 3306#
mysql安装根目录basedir
= /opt/
mysql #####这里改为: /usr/local/mysql
#
mysql数据文件所在位置datadir
= /opt/mysql/
data #####这里改为: /usr/local/mysql/data
#
临时目录 比如load data infile会用到tmpdir
= /
tmp
#
设置socke文件所在目录socket
= /tmp/mysql.
sock
#####这里改为: /usr/local/mysql/mysql.sock
#主要用于MyISAM存储引擎,
如果多台服务器连接一个数据库则建议注释下面内容skip-external-locking
#
只能用IP地址检查客户端的登录,不用主机名skip_name_resolve
= 1#
事务隔离级别,默认为可重复读,mysql默认可重复读级别(此级别下可能参数很多间隙锁,影响性能)transaction_isolation
=
READ-COMMITTED
#数据库默认字符集,
主流字符集支持一些特殊表情符号(特殊表情符占用4个字节)character-
set
-server =
utf8mb4
#数据库字符集对应一些排序等规则,注意要和character-
set
-server对应collation-server
=
utf8mb4_general_ci
#设置client连接mysql时的字符集,
防止乱码init_connect
='
SET
NAMES utf8mb4'
#
是否对sql语句大小写敏感,1表示不敏感lower_case_table_names
= 1#
最大连接数max_connections
= 400#
最大错误连接数max_connect_errors
= 1000#
TIMESTAMP如果没有显示声明NOT NULL,允许NULL值explicit_defaults_for_timestamp
=
true
#
SQL数据包发送的大小,如果有BLOB对象建议修改成1Gmax_allowed_packet
=
128M
#MySQL连接闲置超过一定时间后(单位:秒)
将会被强行关闭
#MySQL默认的wait_timeout 值为8个小时,
interactive_timeout参数需要同时配置才能生效interactive_timeout
= 1800
wait_timeout
= 1800#
内部内存临时表的最大值 ,设置成128M。
#比如大数据量的group by ,
order by时可能用到临时表,
#
超过了这个值将写入磁盘,系统IO压力增大tmp_table_size
= 134217728
max_heap_table_size
= 134217728#
禁用mysql的缓存查询结果集功能
#
后期根据业务情况测试决定是否开启
#
大部分情况下关闭下面两项query_cache_size
= 0
query_cache_type
= 0#####################用户进程分配到的内存设置BEGIN###############################
每个session将会分配参数设置的内存大小
#
用于表的顺序扫描,读出的数据暂存于read_buffer_size中,当buff满时或读完,将数据返回上层调用者
#一般在128kb ~ 256kb,
用于MyISAM
#read_buffer_size = 131072#
用于表的随机读取,当按照一个非索引字段排序读取时会用到,
#一般在128kb ~ 256kb,
用于MyISAM
#read_rnd_buffer_size = 262144#
order by或group by时用到
#
建议先调整为2M,后期观察调整sort_buffer_size
= 2097152#
一般数据库中没什么大的事务,设成1~2M,默认32kbbinlog_cache_size
= 524288########################用户进程分配到的内存设置END#############################
在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中
#官方建议back_log = 50 + (max_connections / 5),
封顶数为900back_log
= 130############################日志设置###########################################
数据库错误日志文件log_error
= error.
log
#
慢查询sql日志设置slow_query_log
= 1
slow_query_log_file
= slow.
log
#
检查未使用到索引的sqllog_queries_not_using_indexes
= 1#
针对log_queries_not_using_indexes开启后,记录慢sql的频次、每分钟记录的条数log_throttle_queries_not_using_indexes
= 5#作为从库时生效,
从库复制中如何有慢sql也将被记录log_slow_slave_statements
= 1#
慢查询执行的秒数,必须达到此值可被记录long_query_time
= 8#
检索的行数必须达到此值才可被记为慢查询min_examined_row_limit
= 100#
mysql binlog日志文件保存的过期时间,过期后自动删除expire_logs_days
= 5############################主从复制设置######################################
开启mysql binlog功能log-bin
=
mysql-bin
#
binlog记录内容的方式,记录被操作的每一行binlog_format
=
ROW
#对于binlog_format =
ROW模式时,减少记录日志的内容,只记录受影响的列binlog_row_image
=
minimal
#master status and connection information输出到表mysql.
slave_master_info中master_info_repository
=
TABLE
#the slave‘s position in the relay logs输出到表mysql.
slave_relay_log_info中relay_log_info_repository
=
TABLE
#作为从库时生效,
想进行级联复制,则需要此参数log_slave_updates
#作为从库时生效,
中继日志relay-log可以自我修复relay_log_recovery
= 1#作为从库时生效,
主从复制时忽略的错误slave_skip_errors
=
ddl_exist_errors
#####################redo log和binlog的关系设置BEGIN##########################(步骤1)
prepare dml相关的SQL操作,然后将redo log buff中的缓存持久化到磁盘
#(步骤2)
如果前面prepare成功,那么再继续将事务日志持久化到binlog
#(步骤3)
如果前面成功,那么在redo log里面写上一个commit记录
#
当innodb_flush_log_at_trx_commit和sync_binlog都为1时是最安全的,
#
在mysqld服务崩溃或者服务器主机crash的情况下,binary log只有可能丢失最多一个语句或者一个事务。
#
但是都设置为1时会导致频繁的io操作,因此该模式也是最慢的一种方式。
#
当innodb_flush_log_at_trx_commit设置为0,mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。
#
当innodb_flush_log_at_trx_commit设置为2,只有在操作系统崩溃或者系统掉电的情况下,上一秒钟所有事务数据才可能丢失。
#commit事务时,
控制redo log buff持久化磁盘的模式 默认为1innodb_flush_log_at_trx_commit
= 2#commit事务时,
控制写入mysql binlog日志的模式 默认为0
#
innodb_flush_log_at_trx_commit和sync_binlog都为1时,mysql最为安全但性能上压力也是最大sync_binlog
= 1####################redo log和binlog的关系设置END########################################################Innodb设置######################################
数据块的单位8k,默认是16k,16kCPU压力稍小,8k对select的吞吐量大
#
innodb_page_size的参数值也影响最大索引长度,8k比16k的最大索引长度小
#innodb_page_size = 8192#一般设置物理存储的60% ~ 70
%innodb_buffer_pool_size
=
1G
#5.7.
6之后默认16M
#innodb_log_buffer_size = 16777216#该参数针对unix、linux,window上直接注释该参数.
默认值为NULL
#
O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突innodb_flush_method
=
O_DIRECT
#此格式支持压缩, 5.7.
7之后为默认值innodb_file_format
=
Barracuda
#
CPU多核处理能力设置,假设CPU是2颗4核的,设置如下
#
读多,写少可以设成2:6的比例innodb_write_io_threads
= 4
innodb_read_io_threads
= 4#提高刷新脏页数量和合并插入数量,改善磁盘I/
O处理能力
#
默认值200(单位:页)
#
可根据磁盘近期的IOPS确定该值innodb_io_capacity
= 500#
为了获取被锁定的资源最大等待时间,默认50秒,超过该时间会报如下错误:
# ERROR 1205 (HY000): Lock wait timeout exceeded;
try restarting transactioninnodb_lock_wait_timeout
= 30#调整buffer pool中最近使用的页读取并dump的百分比,
通过设置该参数可以减少转储的page数innodb_buffer_pool_dump_pct
= 40#设置redoLog文件所在目录,
redoLog记录事务具体操作内容innodb_log_group_home_dir
= /opt/mysql/redolog/
####这里改成了 /usr/local/mysql/redolog 手工创建文件夹redolog并要改变用户和组都为mysql (这里一开始没创建报错了,错误2)
#设置undoLog文件所在目录,
undoLog用于事务回滚操作innodb_undo_directory
= /opt/mysql/undolog/
####这里改成了 /usr/local/mysql/undolog 但是要改变用户和组都为mysql
#在innodb_log_group_home_dir中的redoLog文件数,
redoLog文件内容是循环覆盖写入。innodb_log_files_in_group
= 3#MySql5.
7官方建议尽量设置的大些,可以接近innodb_buffer_pool_size的大小
#
之前设置该值较大时可能导致mysql宕机恢复时间过长,现在恢复已经加快很多了
#
该值减少脏数据刷新到磁盘的频次
#最大值innodb_log_file_size * innodb_log_files_in_group <= 512GB,单文件<=
256GBinnodb_log_file_size
=
1024M
#
设置undoLog文件所占空间可以回收
#5.
7之前的MySql的undoLog文件一直增大无法回收#innodb_undo_log_truncate
= 1
#innodb_undo_tablespaces
= 3
#innodb_undo_logs
= 128#5.7.
7默认开启该参数 控制单列索引长度最大达到3072
#innodb_large_prefix = 1#5.7.8默认为4个,
Inodb后台清理工作的线程数
#innodb_purge_threads = 4#
通过设置配置参数innodb_thread_concurrency来限制并发线程的数量,
#
一旦执行线程的数量达到这个限制,额外的线程在被放置到对队列中之前,会睡眠数微秒,
#
可以通过设定参数innodb_thread_sleep_delay来配置睡眠时间
#该值默认为0,
在官方doc上,对于innodb_thread_concurrency的使用,也给出了一些建议:
#(1)如果一个工作负载中,并发用户线程的数量小于64,建议设置innodb_thread_concurrency=0
;
#(2)如果工作负载一直较为严重甚至偶尔达到顶峰,建议先设置innodb_thread_concurrency=128,###并通过不断的降低这个参数,96, 80,
64等等,直到发现能够提供最佳性能的线程数
#innodb_thread_concurrency = 0#强所有发生的死锁错误信息记录到error.
log中,之前通过命令行只能查看最近一次死锁信息innodb_print_all_deadlocks
= 1############################其他设置########################################
[mysqldump]quickmax_allowed_packet
=
128M[mysql]no-auto-rehash[myisamchk]key_buffer_size
=
20Msort_buffer_size
=
256kread_buffer
=
2Mwrite_buffer
=
2M[mysqlhotcopy]interactive-timeout[mysqld_safe]
#
增加每个进程的可打开文件数量open-
files
-limit = 28192
6、配置mysql服务
shell
> cp support-
files
/mysql.server /etc/init.d/mysqld
shell
> chkconfig
--add mysqld # 添加到系统服务
shell
> chkconfig mysqld
on # 开机启动
7、启动服务
shell
> service mysqld start
# 启动mysql服务 报错:错误列表 2
shell
> service mysqld stop
# 停止mysql服务
shell
> service mysqld start
# 启动mysql服务
shell
> service mysqld restart
# 重新启动mysql服务
8、设置数据库密码
shell
> /usr/
local
/mysql/bin/mysql
msql>
grant all privileges on *.* to root@'127.0.0.1' identified by "
root
" with grant option;
msql>
grant all privileges on *.* to root@'localhost' identified by "
root
" with grant option;
mysql> grant all privileges on *.* to root@'%' identified by "
root
" with grant option; ####
# 开启远程登录(将host设为%即可)
9. 登录
mysql -uroot -proot
错误列表:
1.
utf8mb4_general_ci is not valid for latin1
解决:此错误是由于mysql在编译的时候参数错误,(D
DEFAULT_CHARSET
=utf8mb4 写成
DEFAULT_CHARSET
=utf8mb4)
重新编译
2. Starting MySQL. ERROR! The server quit without updating PID file (/usr/local/mysql/mysql.pid).
具体原因要查看错误日志文件才能知道。error.log 但是错误日志一开始没有,查了下原因还是权限问题,所以在my.cnf中将指定error.log路径。之前的错误路径是:/usr/local/mysql/erro_log.log