MySQL 通过 systemd 启动时 hang 住了……

于 2024-05-09 15:55:17 发布
阅读量456 收藏 6
点赞数 3
文章标签： mysql oceanbase 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ActionTech/article/details/138617915
版权

mysqld：哥，我起不来了……

作者：贲绍华，爱可生研发中心工程师，负责项目的需求与维护工作。其他身份：柯基铲屎官。

爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

本文约 2100 字，预计阅读需要 7 分钟。

引言

正如题目所述，在自动化测试场景下，通过 systemd 无法启动 MySQL。

连续 kill -9 结束实例进程，检测 mysqld 在退出后是否会被正确拉起。

具体信息如下：

  1. 主机信息：CentOS 8（Docker 容器）
  2. 使用 systemd 的方式管理 mysqld 进程
  3. systemd service 的运行模式为：forking
  4. 启动命令如下：
# systemd 启动命令
sudo -S systemctl start mysqld_11690.service

# systemd service 内的 ExecStart 启动命令
/opt/mysql/base/8.0.34/bin/mysqld --defaults-file=/opt/mysql/etc/11690/my.cnf --daemonize --pid-file=/opt/mysql/data/11690/mysqld.pid --user=actiontech-mysql --socket=/opt/mysql/data/11690/mysqld.sock --port=11690

现象描述

启动命令持续 hang 住，既不成功，也无任何返回，尝试几次后均无法手动复现该场景。

下图为复现场景，service 端口号不一致请忽略。

MySQL 错误日志无任何信息。查看 systemd service 状态，发现启动脚本中由于缺少参数 MAIN PID，执行失败。

systemd 最后输出的信息为：New main PID 31036 does not exist or is a zombie

原因总结

systemd 启动 mysqld 的过程中，会先根据 service 模板中的配置，执行：

  1. ExecStart（启动 mysqld）
  2. mysqld 启动创建 pid 文件
  3. ExecStartPost（自定义的一些后置脚本：调整权限、将 pid 写入 cgroup 等）

在 步骤 2-3 的中间态，也就是 pid 文件刚创建出来时，主机上接收到了自动化测试下发的命令：sudo -S kill -9 $(cat /opt/mysql/data/11690/mysqld.pid)。

由于这个 pid 文件和 pid 进程确实存在（如果不存在 kill 命令或 cat 会报错），自动化的 CASE 认为 kill 操作已成功结束。但由于 mysqld.pid 这个文件是由 MySQL 自身维护的，在 systemd 的视角中，还需要继续等待 步骤 3 完成，才认为启动成功。

在 systemd 使用 forking 模式时，会根据子进程的 PID 值判断服务是否成功启动。

如果子进程成功启动，并且没有发生意外退出，则 systemd 会认为服务已启动，并将子进程的 PID 作为 MAIN PID。

而如果子进程启动失败或意外退出，则 systemd 会认为服务未能成功启动。

结论

在执行 ExecStartPost 时，由于子进程 ID 31036 已经被 kill 掉，后置 shell 缺少了启动参数，但 ExecStart 步骤已完成，导致 MAIN PID 31036 成为了只存在于 systemd 里的 僵尸进程。

排查过程

当遇到这个问题时是有点懵的，简单检查了一下内存、磁盘基本信息。符合预期并没有出现资源不足的情况。

先从 MySQL 的 Error Log 看看有什么发现。查看结果如下：

...无关内容省略...
2024-02-05T05:08:42.538326+08:00 0 [Warning] [MY-010539] [Repl] Recovery from source pos 3943309 and file mysql-bin.000001 for channel ''. Previous relay log pos and relay log file had been set to 4, /opt/mysql/log/relaylog/11690/mysql-relay.000004 respectively.
2024-02-05T05:08:42.548513+08:00 0 [System] [MY-010931] [Server] /opt/mysql/base/8.0.34/bin/mysqld: ready for connections. Version: '8.0.34'  socket: '/opt/mysql/data/11690/mysqld.sock'  port: 11690  MySQL Community Server - GPL.
2024-02-05T05:08:42.548633+08:00 0 [System] [MY-013292] [Server] Admin interface ready for connections, address: '127.0.0.1'  port: 6114
2024-02-05T05:08:42.548620+08:00 5 [Note] [MY-010051] [Server] Event Scheduler: scheduler thread started with id 5

通过观察 Error Log 发现并无任何有用信息，因为启动的时间点之后无任何日志信息输出。

查看 systemctl status 确认服务当前状态：

下图为正常情况下的 status 信息：

通过对比后，整理两条有用信息：

  1. 后置 shell 由于缺少 -p 参数导致执行失败（-p 参数为 MAIN PID，也就是 fork 子进程启动后的 PID）。
  2. systemd 无法获取 PID 31036，不存在或者为僵尸进程。

先来检查进程 ID 与 mysqld.pid 看看：

确认线索：

  1. PID 31036 不存在
  2. mysqld.pid 文件存在，且文件内容为 31036
  3. top 命令查看不存在僵尸进程

还需要获取更多的线索来确认原因，检查 journalctl -u 内容，看看是否有帮助：

sh-4.4# journalctl -u mysqld_11690.service
-- Logs begin at Mon 2024-02-05 04:00:35 CST, end at Mon 2024-02-05 17:08:01 CST. --
Feb 05 05:07:54 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:07:56 udp-11 systemd[1]: Started MySQL Server.
Feb 05 05:08:31 udp-11 systemd[1]: mysqld_11690.service: Main process exited, code=killed, status=9/KILL
Feb 05 05:08:31 udp-11 systemd[1]: mysqld_11690.service: Failed with result 'signal'.
Feb 05 05:08:32 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:08:36 udp-11 systemd[1]: Started MySQL Server.
Feb 05 05:08:37 udp-11 systemd[1]: mysqld_11690.service: Main process exited, code=killed, status=9/KILL
Feb 05 05:08:37 udp-11 systemd[1]: mysqld_11690.service: Failed with result 'signal'.
Feb 05 05:08:39 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:08:42 udp-11 u_set_iops.sh[31507]: /etc/systemd/system/mysqld_11690.service.d/u_set_iops.sh: option requires an argument -- p
Feb 05 05:08:42 udp-11 systemd[1]: mysqld_11690.service: New main PID 31036 does not exist or is a zombie.

这里的 journalctl -u 内容也只描述了现象，无法分析具体原因，与 systemctl status 的内容相差不多，帮助不大。

查看 /var/log/messages 系统日志内容：

发现循环报出了一些内存方面的错误信息，通过搜索后发现该错误可能为硬件问题。询问了自动化测试的同事后，得到结论：

  1. 场景为偶发问题，执行 4 次用例，2 次成功，2 次失败
  2. 每次执行均为同一台宿主机，同一份容器镜像
  3. 失败时 hang 住的容器为同一个

既然有成功执行的结果，这里就先忽略硬件问题导致的。

既然提到了容器，此时想到了 cgroup 会不会映射宿主机的时候出现了问题？在上边排查的 systemctl status 中，观察可知 cgroup 映射的宿主机目录为：CGroup: /docker/3a72b2cdc7bd9beb1c7b2abec24763046604602a38f0fcb7406d17f5d33353d2/system.slice/mysqld_11690.service

检查父级文件夹 system.slice 的读写权限并无异常。先暂时排除 cgroup 的映射问题（因为主机上还有其他 systemd 接管的 service 也在使用同一份 cgroup）。

打算试试 pstack 能不能看到 systemd 具体 hang 在了哪个地方，3048143 为 systemctl start 的 pid：

sh-4.4# pstack 3048143
#0  0x00007fdfaef33ade in ppoll () from /lib64/libc.so.6
#1  0x00007fdfaf7768ee in bus_poll () from /usr/lib/systemd/libsystemd-shared-239.so
#2  0x00007fdfaf6a8f3d in bus_wait_for_jobs () from /usr/lib/systemd/libsystemd-shared-239.so
#3  0x000055b4c2d59b2e in start_unit ()
#4  0x00007fdfaf7457e3 in dispatch_verb () from /usr/lib/systemd/libsystemd-shared-239.so
#5  0x000055b4c2d4c2b4 in main ()

观察发现 start_unit 比较可疑，start_unit() 函数位于可执行文件中，它用于启动 systemd units，并没有什么帮助。

根据已有线索，推测后可知：

  1. mysqld.pid 文件存在，则表示之前确实有一个 mysqld 且进程号为 31036 的进程被启动了
  2. 进程启动后被自动化用例 kill -9 结束掉
  3. systemd 获取到了一个已经被结束的 MAIN PID，后置 shell 执行失败，fork 流程失败

通过梳理 systemd 启动流程的步骤，推测可能性。MySQL 实例只有在 mysqld 成功启动后才会生成 mysqld.pid 文件，所以可能是在后续步骤里被意外 kill -9 结束掉导致的。

复现方式

既然没什么其他头绪和线索了，打算根据推测结论尝试复现一下试试。

4.1 调整 systemd mysql serivce 模板

编辑模板文件 /etc/systemd/system/mysqld_11690.service，在 mysqld 启动后，sleep10 秒，方便在这时间窗口内模拟kill掉实例进程的场景。

4.2 配置重载

执行 systemctl daemon-reload 令变更生效。

4.3 场景重现

  1. [ssh seesion A] 首先准备一个新的容器，做好相关配置后执行 sudo -S systemctl start mysqld_11690.service 启动一个 mysqld 进程，此时会因为 sleep 的原因 hang 住会话。
  2. [ssh seesion B] 在另一个会话窗口，start 命令 hang 住时，检查 mysqld.pid 文件，一旦文件被创建后，立刻执行 sudo -S kill -9 $(cat /opt/mysql/data/11690/mysqld.pid)。
  3. 此时观察 systemctl status，表现与预期一致

解决方式

先 kill 掉 hang 住的 systemctl start 命令，执行 systemctl stop mysqld_11690.service，这可以让 systemd 主动结束僵尸进程，虽然 stop 命令可能会报错但这并不影响。

等待 stop 执行完成后再次使用 start 命令启动，恢复正常。

更多技术文章，请访问：https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。

SQLE 获取

类型地址
版本库https://github.com/actiontech/sqle
文档https://actiontech.github.io/sqle-docs/
发布信息https://github.com/actiontech/sqle/releases
数据审核插件开发文档https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse
爱可生开源社区
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
systemd mysql_Systemd管理下的MySQL Server
weixin_39761647的博客
01-19 235
mysql 5.7官网的rpm包，编译时指定了-DWITH_SYSTEMD=bool参数，启用systemd管理，并且不会安装mysqld_safe和System V初始化的脚本如果还想使用mysqld_safe两种方法：1.下载源码包编译；selectversion : 5.7.23select operating system: Source Codeselect OS Version: Ge...
centos7的systemd托管启动的配置文件mysqld.service
05-13
centos7的systemd托管启动的配置文件mysqld.service,适用于mysql5.7和centos7一起使用。
systemctl start mysqld启动卡住
m0_47265520的博客
05-17 1555
如果还是不行，我之前还执行了这句，不知道有没有用，如果不行你们可以试试，我执行了之后反正没用。今天在自己虚拟机centos7上装mysql出现的问题，这个问题我遇到过两次了。百度centos完全卸载mysql，完全卸载删除所有文件，重装即可。然后就能systemctl start mysqld就可以启动了。查看报错信息，根据报错信息来百度，我的报错信息。删除这些文件再启动，启动会自动生成。
systemd启动mysql后一直卡住,Systemd Mysql不会停止
weixin_39545310的博客
03-27 801
升级到15.04后,我有很多乐趣了解systemd.我想我一切正常,除了我无法阻止mysql.service; systemctl命令只是挂起而且mysql一直在运行.有没有其他人经历过这个或者可能知道发生了什么？解决方法:我有同样的问题(升级到15.04,使用官方文件和配置).我必须进行以下更改才能使用sytemctl手动停止mysql守护程序并在系统重启/关闭时自动停止：>使/etc/m...
Linux无法启动MySQL
weixin_41786712的博客
06-14 1280
Linux无法启动MySQL，systemctl start mysqld一直卡住
走进Linux之systemd启动过程
02-26
在这里我们将着重讨论systemd的特性和争议，但是为了更好地理解它，也会看一下通过传统的以SysVinit为基础的系统的Linux启动过程是什么样的。友情提醒一下，systemd仍然处在测试阶段，而未来发布的Linux操作系统也正...
systemd启动脚本.pdf
12-27
systemd 启动脚本详解 Systemd 启动脚本是 Linux 系统中的一种服务管理机制，它用于管理和控制系统服务的启动、停止和重启。Systemd 启动脚本是 systemd 服务管理器的一部分，它使用配置文件来定义服务的启动顺序、...
CentOS 7下MySQL服务启动失败的快速解决方法
12-15
如果未设置，使用`systemctl enable mysqld`使其在系统启动时自动启动。 6. **重启服务**：在解决问题后，尝试重新启动MySQL服务，使用`systemctl restart mysqld`。如果仍然失败，请尝试`systemctl reset-failed`...
Ubuntu自启动Mysql的三种方式
09-10
在Ubuntu系统中，确保MySQL数据库服务在启动时自动运行是非常重要的，特别是在服务器环境中，这可以保证系统的稳定性和数据的连续性。以下将详细介绍在Ubuntu上自启动MySQL的三种方法。 **方法一：通过`update-rc.d...
mysqld restart service 卡_linux正确重启MySQL的方法
weixin_39748445的博客
12-20 3201
由于是从源码包安装的Mysql，所以系统中是没有红帽常用的servcie mysqld restart这个脚本只好手工重启有人建议Killall mysql。这种野蛮的方法其实是不行的，强制终止的话，如果造成表损坏，损失是巨大的。这里推荐安全的重启方法$mysql_dir/bin/mysqladmin -u root -p shutdown$mysql_dir/bin/safe_mysqld &a...
解决容器中执行sudo systemctl start mysqld报错Failed to get D-Bus connection: Operation not permitted
weixin_42258633的博客
07-31 1851
报错Failed to get D-Bus connection: Operation not permitted
Centos7系列MySQL安装配置教程 - 详细介绍
高性价比服务器就选：蓝易云
04-18 440
安装和配置MySQL可能在一些方面有些棘手，但是这是极其重要的一步，因为大多数web应用程序都需要一个可靠的数据库管理系统。遵循本文中的步骤将帮助您在CentOS 7上安装和配置MySQL，以便您可以开始使用它来存储和管理您的数据。MySQL是一种流行的关系型数据库管理系统（RDBMS），而CentOS是一种基于Linux的操作系统，许多开发人员都将其用于web服务器和数据库服务器。现在，您应该能够从其他计算机上的MySQL客户端访问该CentOS 7服务器上的MySQL服务。
Centos 7 安装Mysql 5.7
bhwqq的博客
12-05 501
查看是否本机安装了mysql rpm -qa | grep -i mysql 1.添加MySQL Yum存储库 rpm -ivhhttps://repo.mysql.com/mysql57-community-release-el7.rpm 2.安装mysql sudo yum install mysql-community-server 3.启动MySQL服务器 sudo systemctl start mysqld.service 4.您可以使用以下命令检查MySQL服务器的状态： sudo .
一百六十六、MySQL——systemctl stop mysqld无法停止MySQL8.0服务
最新发布
tiantang2renjian的博客
08-28 855
systemctl stop mysqld无法停止MySQL8.0服务
mysqld restart service 卡_centos7 安装 mysql 卡住了，输入： sudo systemctl start mysqld 后， 光标停在那里一动不动...
weixin_39732249的博客
12-20 1080
62018-04-15 18:57:35 +08:00sudo journalctl -u mysqld-- Logs begin at Wed 2018-04-11 00:59:13 UTC, end at Sun 2018-04-15 10:56:42 UTC. --Apr 15 09:58:20 newoneacreland systemd[1]: Starting MySQL Commun...
使用systemctl命令启动和关闭mysql
热门推荐
施勇
05-23 4万+
以前都用service命令管理mysql，现在liunx系统升级了，又有了新的更好的方法管理系统进程，现在我们来学习如何用systemctl命令管理mysql。Systemctl是一个systemd工具，主要负责控制systemd系统和服务管理器。 Systemd是一个系统管理守护进程、工具和库的集合，用于取代System V初始进程。Systemd的功能是用于集中管理和配置类UNIX系统。 在
CentOS 安装 mysql 完整版本
人有三样东西是无法隐瞒的，咳嗽，穷困和爱，你想隐瞒越欲盖弥彰
05-23 322
CentOS 安装 mysql 完整版 安装环境 CentOS 7 安装步骤 添加 mysql 软件源 安装 mysql 运行 mysql 配置 mysql 1. 添加mysql软件源 CentOS 实际上可以安装MySQL的分之版本mariadb。如果要安装MySQL，那么需要添加对应的软件源。通过MySQL的网站MySQL Community Downloads来获取最新的yum仓库。 官方网站Repo 介绍 MySQL yum repo info 1.1 下载 ...
mysql 卡死_MySQL :: systemctl启动mysqld.service无响应
weixin_33168819的博客
02-27 2122
systemctl启动mysqld.service无响应Posted by: yu jiDate: July 17, 2019 06:46PM用yum安装的mysql，执行systemctl start mysqld.service一直没有返回结果，进程一直存在。systemctl status mysqld.service 查询mysql其实已经启动了，/var/log/mysqld.log日志...
systemd启动流程
08-16
### 回答1： systemd 是一个系统和服务管理器，它可以用来管理系统启动流程。 当系统启动时，systemd 会执行以下流程： 1. 引导加载程序（如 GRUB）将内核和 initramfs 加载到内存中。 2. 内核将控制权交给 init 进程。 3. init 进程读取配置文件 /etc/inittab，并根据配置文件中指定的运行级别，执行相应的初始化任务。 4. 在运行级别为 5（图形界面）时，init 进程会启动 systemd，并由它来继续管理系统的启动流程。 5. systemd 会执行所有基本系统服务（basic system services）和用户服务（user services）。这些服务由配置文件（以 .service 结尾）指定，并且可以被用户自定义。 6. 当所有基本系统服务和用户服务都已启动，系统就完成了启动流程，并进入了正常的工作状态。 希望我的回答对你有帮助！ ### 回答2： systemd是一个系统和服务管理器，是大多数现代Linux发行版的默认初始化系统。它负责管理整个系统的启动过程和各种系统服务的管理。 systemd启动流程如下： 1. 引导加载：当计算机开机时，引导加载程序（如GRUB）会引导Linux内核的加载。在此过程中，系统启动时会加载systemd引导加载器。 2. 内核初始化：Linux内核被加载后，会进行一系列的初始化操作，包括设置硬件、内存管理等。同时，内核还会启动systemd进程，将系统初始化的责任交给systemd。 3. Target设置：systemd会根据预设的目标（target）进行进一步的初始化。目标是一组预定义的运行级别，它们定义了系统应该启动哪些服务。比如，graphical.target表示图形界面模式，multi-user.target表示多用户模式等。系统会根据当前目标来启动相应的服务。 4. 控制台登录：在目标设置后，systemd会启动控制台登录服务tyetty，提供一个控制台界面供用户登录。 5. 系统服务启动：systemd根据配置文件和目标设置，逐个启动各种系统服务。这些服务可以是网络服务、文件系统服务、打印服务等等。systemd通过配置文件来确定哪些服务应该在启动时被启动，以及它们之间的依赖关系。 6. 用户服务启动：除了系统服务，systemd还会启动用户级别的服务。这些服务是由每个用户自定义和管理的，比如自启动应用程序、定时任务等。 7. 启动完成：一旦所有服务启动完成，系统进入正常运行状态。 总而言之，systemd启动流程可以简单概括为引导加载、内核初始化、目标设置、控制台登录、系统服务启动和用户服务启动。它通过预定义的目标和配置文件来控制系统的初始化过程，实现了系统和服务的并行启动，提高了系统启动的效率。 ### 回答3： systemd是一种用于启动和管理Linux系统服务的初始化系统，其启动流程如下： 1. 内核引导：当计算机启动时，首先加载内核。内核负责启动系统和硬件初始化。 2. systemd引导：接下来，内核启动systemd程序。systemd是第一个用户空间程序，它会接管系统的控制权。 3. 启动目标：systemd会加载配置文件，决定启动哪些服务和目标。目标是一组预定义的系统状态，比如multi-user.target表示多用户运行级别（类似于传统的运行级别3）。 4. 依赖解析：systemd会分析服务之间的依赖关系。每个服务都有关于它所依赖的其他服务和被依赖的信息。systemd会根据这些依赖关系确定启动顺序。 5. 启动服务：一旦依赖关系解析完毕，systemd会按照正确的顺序启动服务。每个服务都有自己的启动脚本（称为服务单元），systemd会执行这些脚本。 6. 并行启动：systemd具有并行启动的能力，可以同时启动多个服务，提高启动速度。 7. 启动后事件：一旦所有服务都成功启动，systemd会触发启动后事件，并通知其他程序系统已准备就绪。 总结来说，systemd的启动流程包括内核引导、systemd引导、启动目标、依赖解析、启动服务、并行启动和启动后事件。它通过优化依赖关系、并行启动和分级启动等功能，提高了系统启动的效率和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值