概述
最近准备对mysql做优化,修改配置文件后mysql无法正常启动,猜测是个别参数问题,不过后来发现服务器一直卡死,所以重启了下服务器,也就是这个重启服务器发现了一些很奇怪的现象。
现象
在服务器重启后发现以下问题:执行一些基本命令会hang死。
![1e2eea33c74aa327bbaf9adf0e17f5b4.png](https://i-blog.csdnimg.cn/blog_migrate/63cb6a6fdbe6d1537154e2960e54f0ff.jpeg)
而且发现mysql进程无法kill掉
![8b80e257a9d84194f6b6936aa5c63cbf.png](https://i-blog.csdnimg.cn/blog_migrate/e134c64df5f6f3648166c6c14c113529.jpeg)
排查过程
1、查看磁盘、内存
可以发现磁盘、内存都正常
![54cad975943140fead0a77dbc2742f9c.png](https://i-blog.csdnimg.cn/blog_migrate/43dfc3c9a40a2769f20eac4cc47e723f.jpeg)
2、查看服务器整体情况
在用top命令的时候发现IO存在瓶颈,已经达到98%了
![ced1932a31619d73d7b3ba955bd4018c.png](https://i-blog.csdnimg.cn/blog_migrate/62fa6558fc57c523ba718c8fb58c7e58.jpeg)
3、查看是否有异常用户操作
好吧,都是我的IP地址,那应该是mysql的问题导致了。
![d0e6745be74f49f13ab68f7efe2a4639.png](https://i-blog.csdnimg.cn/blog_migrate/d7905d9c8a877c686104d0998134fa99.jpeg)
4、计划用iotop进一步分析
本来想用iotop来分析具体是哪个进程影响的IO问题,但发现系统之前没装这工具..而目前IO满了,用yum又装不了这工具,只能选择最后一个办法了。
![017517cef00420052e92a26702442855.gif](https://i-blog.csdnimg.cn/blog_migrate/846fd9e7f97c58c766f47b549a315dc0.gif)
5、重启大法
重启前发现之前的配置文件是有点问题的,写了两个[mysqld],修改回正确的配置文件,禁止mysql开机自动启动,然后重启(注意只能手动重启)。
6、重启后
重启后手动重启mysql正常。
![87c3990f574cf9ed2a31c04be4552dd5.png](https://i-blog.csdnimg.cn/blog_migrate/9ed05840a68216c6cac7ccb42d7d746f.jpeg)
![576553041085882b7112e037ec56a7d2.png](https://i-blog.csdnimg.cn/blog_migrate/b86b1fe507889d92214c708ac137a4fe.jpeg)
问题应该是在这:我之前配置文件不小心写了两个[mysqld],也就是配置文件错误了,但是服务器重启了(mysql进程是开机自动启动的),然后mysql进程就处于这种僵死状态,导致磁盘IO一直是满的,改好配置文件后手动重启就可以了。
后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注一下~
![ab14085093a8172dbab41be9585a985e.png](https://i-blog.csdnimg.cn/blog_migrate/db03cec42ce72a43bd71ed222e695e27.jpeg)