MySQL OOM

已于 2024-05-08 10:56:50 修改
阅读量1.6k 收藏 2
点赞数 1
分类专栏： MySQL 文章标签： mysql 数据库 服务器
于 2023-05-31 16:52:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hezuijiudexiaobai/article/details/130970578
版权

目录标题

OOM说明

当MySQL进程使用过多内存并导致OOM（Out of Memory）错误时，操作系统的cgroup机制可以通过"oom-killer"（OOM杀手）来终止MySQL进程以释放内存。cgroup是Linux内核提供的一种资源管理机制，它可以限制和控制进程组的资源使用。

当系统的内存资源耗尽并出现OOM情况时，操作系统会使用OOM杀手来选择并终止使用过多内存的进程，以便回收内存并保护系统的稳定性。

当MySQL进程被cgroup的OOM杀手终止时，可能会有以下一些原因：

  1. MySQL进程使用了大量内存：MySQL是一个内存密集型应用程序，它使用内存来缓存数据、索引等。如果MySQL配置不当，或者数据库中的数据量非常大，MySQL进程可能会占用过多的内存，超出了系统的可用内存资源。

  2. cgroup限制了MySQL的资源使用：cgroup可以设置进程组的资源限制，包括内存限制。如果MySQL所在的cgroup设置了较小的内存限制，当MySQL进程占用的内存超过了限制时，cgroup的OOM杀手会终止该进程。

为了解决MySQL被cgroup终止的问题，可以考虑以下几个方面：

  1. 优化MySQL的内存使用：检查MySQL的配置文件，确保适当配置了内存缓冲区大小、连接数等参数。通过调整这些参数，可以限制MySQL的内存使用，并更好地管理内存资源。

  2. 调整cgroup的资源限制：如果MySQL所在的cgroup设置了较小的内存限制，可以考虑适当增加cgroup的内存限制，以满足MySQL进程的内存需求。

  3. 监控和调优系统内存：使用监控工具来实时监测系统的内存使用情况，并及时采取措施来调优和优化系统的内存管理。这包括检查并关闭不必要的服务、优化应用程序的内存使用等。

  4. 考虑使用更强大的硬件或增加内存容量：如果MySQL需要处理大量的数据或有高并发的负载，可能需要考虑增加服务器的内存容量或使用更强大的硬件来满足需求。

总结起来，解决MySQL被cgroup终止的问题通常需要综合考虑MySQL的配置优化、cgroup的资源限制调整以及系统内存管理的优化等因素。这样可以避免MySQL进程占用过多内存，减少OOM的发生，并确保系统的稳定性和性能。

操作系统日志

pod80c493b4_af60_47b0_a49b_326b03ffc130.slice/docker-845cc21bdaa881c712a7629ab8fb47d6da97ca91335d7f70493c4674c8bddce2.scope killed as a result of limit of /kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod80c493b4_af60_47b0_a49b_326b03ffc130.slice/docker-845cc21bdaa881c712a7629ab8fb47d6da97ca91335d7f70493c4674c8bddce2.scope
Jun 29 13:08:51 x.x.x.x kernel: memory: usage 8388608kB, limit 8388608kB, failcnt 0
Jun 29 13:08:51 x.x.x.x kernel: memory+swap: usage 8388608kB, limit 8388608kB, failcnt 2606287
Jun 29 13:08:51 x.x.x.x kernel: kmem: usage 51660kB, limit 9007199254740988kB, failcnt 0
Jun 29 13:08:51 x.x.x.x kernel: Memory cgroup stats for /kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod80c493b4_af60_47b0_a49b_326b03ffc130.slice/docker-845cc21bdaa881c712a7629ab8fb47d6da97ca91335d7f70493c4674c8bddce2.scope: cache:2252KB rss:8333176KB rss_huge:0KB shmem:0KB mapped_file:0KB dirty:0KB writeback:2508KB swap:0KB inactive_anon:0KB active_anon:8334892KB inactive_file:980KB active_file:40KB unevictable:0KB
Jun 29 13:08:51 x.x.x.x kernel: Tasks state (memory values in pages):
Jun 29 13:08:51 x.x.x.x kernel: [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
Jun 29 13:08:51 x.x.x.x kernel: [   5105]  1000  5105  2476255  2084950 17760256        0           872 mysqld
Jun 29 13:08:51 x.x.x.x kernel: Memory cgroup out of memory: Kill process 5105 (mysqld) score 1868 or sacrifice child
Jun 29 13:08:51 x.x.x.x kernel: Killed process 5105 (mysqld) total-vm:9905020kB, anon-rss:8327136kB, file-rss:12980kB, shmem-rss:0kB
Jun 29 13:08:51 x.x.x.x kernel: oom_reaper: reaped process 5105 (mysqld), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

根据提供的日志信息，以下是对操作系统日志中的内容进行详细解释：

  • 日志中显示了一个任务（Task）被终止（killed），原因是由于 /kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pod80c493b4_af60_47b0_a49b_326b03ffc130.slice/docker-845cc21bdaa881c712a7629ab8fb47d6da97ca91335d7f70493c4674c8bddce2.scope 的限制。
  • 进程号为 5105 的进程（mysqld）超出了内存限制，导致内存不足（Memory cgroup out of memory）。
  • 操作系统选择了终止进程号为 5105 的进程（mysqld），将其杀死。
  • 终止进程前，该进程总共使用了 9905020kB 的虚拟内存（total-vm），其中匿名内存占用8327136kB（anon-rss），文件内存占用12980kB（file-rss），共享内存占用0kB（shmem-rss）。
  • oom_reaper 进程已回收了进程号为 5105 的进程（mysqld），此时该进程的匿名内存、文件内存和共享内存均为0kB。

综上所述，以上日志提供了关于操作系统内存不足导致进程被终止的详细信息。

相关概念介绍

**虚拟内存（total-vm）**是指进程可以访问的地址空间的总大小，包括实际物理内存和交换空间（如果存在）。在Linux系统中，通过/proc/[PID]/status文件可以查看进程的虚拟内存统计信息。

**匿名内存（anon-rss）**表示进程使用的匿名内存的占用量。匿名内存是指没有关联到具体文件的内存区域，例如进程堆和栈等。这些内存区域主要用于存储动态分配的数据、进程的运行时栈以及其他未映射到具体文件的临时数据。在给定的示例中，匿名内存占用8327136kB。

**文件内存（file-rss）**表示进程使用的文件映射内存的占用量。文件内存是指与具体文件相关联的内存区域，例如共享库、打开的文件和映射的文件等。在给定的示例中，文件内存占用12980kB。

**共享内存（shmem-rss）**表示进程使用的共享内存的占用量。共享内存是指多个进程之间可以共享的内存区域，通常用于进程间通信或共享数据。在给定的示例中，共享内存占用0kB，表示该进程当前没有使用共享内存。

这些内存统计信息对于了解进程的内存使用情况非常有用，可以帮助识别内存泄漏、性能问题和资源管理等方面的潜在问题。

0508补充

在您提供的日志片段中，kernel 日志记录了有关操作系统内存管理的重要信息，特别是在发生内存不足（OOM）时。下面是对字段的解释和为什么 backup-set-cont 进程可能被选择为终止的分析：

  1. [ pid ]: 这是进程的进程标识符（PID），是一个唯一的数字，用来标识系统中的进程。

  2. uid: 这是进程所有者的用户ID。

  3. tgid: Thread Group ID，线程组ID，通常与PID相同，用于标识线程组的领导者。

  4. total_vm: 虚拟内存的大小，单位通常是kB（千字节），这个值代表了进程请求的虚拟内存总量。

  5. rss: Resident Set Size，常驻内存集的大小，表示进程实际使用的物理内存量。

  6. pgtables_bytes: 为该进程分配的页表的大小。

  7. swapents: 交换条目的数量，表示进程有多少内存页面被交换到了磁盘上。

  8. oom_score_adj: OOM（内存不足）评分调整值，是一个介于-1000到1000之间的值，用于影响OOM杀手选择进程时的评分。值越大，该进程被OOM杀手终止的可能性越高。

  9. name: 进程的名称。

关于为什么选择 backup-set-cont 进程进行终止，这通常由内核的OOM杀手机制决定。当系统内存不足时，OOM杀手会根据进程的oom_score（基于oom_score_adj和进程使用的内存量计算得出）来选择一个进程进行终止，以释放内存。backup-set-cont 进程可能因为具有较高的oom_score（可能是因为它使用了大量内存），或者它是可终止的（例如，不是关键系统进程），因此被选择为终止对象。

此外，日志中提到 memory+swap 的使用量和限制相同，意味着系统的交换空间（swap）也已耗尽，这会加剧内存不足的情况，因为系统无法将内存页移动到磁盘上以释放RAM。

在处理此类问题时，通常需要考虑增加系统的物理内存或交换空间，优化应用程序的内存使用，或者配置适当的oom_score_adj值，以避免关键进程被错误地终止。

排查思路

1、通过监控查看数据库OOM前30分钟内存占用情况，前7天内存整体情况
2、查看慢日志（默认阈值1s），统计OOM前10分钟的慢日志情况进行分析
3、查看参数是否设置合理
4、查看审计日志

当遇到MySQL的OOM（Out of Memory）问题时，以下是一些排查思路和步骤：

  1. 查看日志：检查MySQL的错误日志（通常是error.log）是否有相关的OOM错误记录。日志中可能会提供有关OOM发生的时间、原因和相关的线程或查询信息。

  2. 内存配置：检查MySQL的内存配置参数，如innodb_buffer_pool_size、max_connections等。确保这些参数与系统可用内存和预期负载相匹配。

  3. 内存使用情况：使用系统工具（如top、htop）监视MySQL进程的内存使用情况。观察内存使用的变化趋势和峰值。

  4. 查询分析：使用MySQL的性能分析工具（如EXPLAIN、SHOW PROCESSLIST）来分析当前运行的查询。查找可能导致内存消耗过高的查询，如全表扫描、大数据集的排序等。

  5. 内存泄漏：检查是否存在内存泄漏的情况。观察内存使用是否持续增长，即使没有大量的并发连接或查询。

  6. 数据集大小：评估数据库中的数据集大小。如果数据量很大，可能需要适当调整MySQL的内存配置参数，以确保足够的内存分配给缓冲池和查询操作。

  7. 硬件资源：检查系统的硬件资源，如RAM大小、磁盘空间、I/O性能等。确保系统资源足够满足MySQL的需求。

  8. 查询优化：优化查询和数据模型，以减少内存消耗和提高查询性能。使用索引、分区表等技术来减少查询的数据量和内存需求。

  9. MySQL版本：考虑升级到最新的MySQL版本，以获得性能改进和修复已知的内存相关问题。

  10. 使用监控工具：部署监控工具来实时监视MySQL的性能指标和内存使用情况。这将有助于及时发现和诊断潜在的OOM问题。

这些是一些常见的排查思路，可以帮助您定位和解决MySQL的OOM问题。根据具体情况，您可能需要采取不同的措施和进一步的调查。在处理生产环境中的问题时，建议提前备份数据并小心操作。

参数调整

配置MySQL的内存缓冲区大小和连接数等参数需要根据具体的系统配置和应用需求进行调整。下面是一些常见的配置参数和建议：

  1. 内存缓冲区大小：
  • innodb_buffer_pool_size：这是InnoDB存储引擎的主要内存缓冲区，用于缓存数据和索引。建议将其设置为系统可用内存的70-80%。
  • key_buffer_size：对于使用MyISAM存储引擎的表，这是键缓冲区的大小。建议将其设置为系统可用内存的10%。
  • query_cache_size：用于缓存查询结果的内存缓冲区。对于高并发写入的环境，建议禁用查询缓存或将其设置为较小的值。
  1. 连接数相关参数：
  • max_connections：这是允许的最大连接数。根据系统负载和可用资源，可以设置适当的值。注意，每个连接都需要一定的内存资源。
  • thread_cache_size：用于缓存线程的数量。可以设置为几十到几百个线程，以满足并发连接的需求。
  1. 其他内存相关参数：
  • tmp_table_size 和 max_heap_table_size：用于控制临时表的内存缓冲区大小。可以根据需要适当调整这两个参数的值。
  • sort_buffer_size 和 join_buffer_size：用于排序和连接操作的内存缓冲区。根据查询的需求和数据量，可以适当调整这些参数的大小。

在配置这些参数时，建议进行实验和性能测试，以确定最佳的配置值。同时，监控MySQL的内存使用情况和性能指标，以便及时调整参数并优化系统的内存管理。

另外，每个MySQL部署的环境和需求都不同，因此最佳的配置值可能因情况而异。建议参考MySQL的官方文档和性能优化指南，以获取更详细和针对性的配置建议。此外，专业的数据库管理员或性能专家也可以提供定制化的配置建议和优化策略。

innodb_buffer_pool_size

调整MySQL的innodb_buffer_pool_size参数是优化性能的关键之一，它决定了InnoDB存储引擎的主要内存缓冲区的大小。下面是一些常见的建议和步骤来调整innodb_buffer_pool_size参数：

  1. 确定可用内存：首先，需要确定系统上可用的内存资源。这可以通过操作系统提供的工具或命令来查看。确保要保留足够的内存给操作系统和其他应用程序使用，以避免系统性能下降或内存不足。

  2. 考虑数据库的大小：了解数据库的大小是调整innodb_buffer_pool_size的重要因素。你可以通过查询数据库大小或查看磁盘上数据库文件的大小来获得这些信息。

  3. 设置合适的缓冲池大小：一般来说，建议将innodb_buffer_pool_size设置为可用内存的70-80%。这样可以确保大部分的数据和索引都可以缓存在内存中，提高查询性能。但是，确保不要将缓冲池设置得过大，超出可用内存的范围，以免导致内存竞争和性能问题。

  4. 监控和调整：一旦设置了新的innodb_buffer_pool_size值，建议进行监控和性能测试，以观察系统的表现和性能变化。使用数据库性能监控工具来跟踪内存使用情况、磁盘I/O和查询性能等指标。根据监控结果和实际负载情况，可以适当调整innodb_buffer_pool_size的大小，以达到最佳性能。

  5. 重启MySQL服务：在修改innodb_buffer_pool_size参数后，需要重启MySQL服务以使其生效。确保在生产环境中进行调整时，事先进行充分的测试，并在维护时间或低负载期进行重启操作。

请注意，以上建议是一般性的指导方针，实际的最佳配置值可能因环境和需求而异。建议参考MySQL的官方文档、性能优化指南和经验丰富的DBA（数据库管理员）或性能专家的建议，以获得更具体和针对性的调整策略。

喝醉酒的小白
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL数据查询太多会OOM吗？
m0_69526086的博客
04-23 1096
那么，这个“结果集”存在哪里呢？ 服务端无需保存一个完整结果集。取数据和发数据的流程是这样的： 获取一行，写到net_buffer。这块内存的大小是由参数net_buffer_length定义，默认16k 重复获取行，直到net_buffer写满，调用网络接口发出去 若发送成功，就清空net_buffer，然后继续取下一行，并写入net_buffer 若发送函数返回EAGAIN或WSAEWOULDBLOCK，就表示本地网络栈（socket send buffer）写满了，进入等待。直到网络栈
MYSQL基础：参数调优:4:常见的缓存调优参数
知行合一 止于至善
03-20 3595
这篇文章整理一下缓存相关常用的调优参数，并给出建议。
MySQL OOM（内存溢出）的排查思路及优化方法
MYSQL轻松学的专栏
06-26 9589
​OOM全称"Out Of Memory"，即内存溢出。 内存溢出已经是软件开发历史上存在了近40年的“老大难”问题。在操作系统上运行各种软件时，软件所需申请的内存远远超出了物理内存所承受的大小，就叫内存溢出。 内存溢出产生原因多种多样，当内存严重不足时，内核有两种选择： 直接panic 杀掉部分进程，释放一些内核。 大部分情况下，会杀掉导致OOM的进程，然后系统恢复。...
OOM 原因及解决方案
fighting_DW
06-12 5182
OOM 原因及解决方案
MySQL服务器内存占用过高原因分析及解决思路
最新发布
学亮编程手记
05-19 1591
Linux系统会积极地缓存文件系统元数据和其他读取过的数据到内存中，这部分缓存虽然可以被快速释放给其他需要的进程，但在统计内存使用时会被计入已使用的内存中，从而导致看似较高的内存占用率。: 虽然InnoDB缓冲池的大小是32GB，但是InnoDB还有其他内存使用，比如redo log buffer (: MySQL还会为线程、连接管理、解析器、优化器等保留一些内存，以及为其他内部操作分配临时内存。: 分配和释放内存的过程中可能会产生碎片，导致实际占用的虚拟内存比实际使用的内存要多。)、额外的内存池 (
面试官问：MySQL数据查询太多会OOM吗？
Java精选
08-15 109
我的主机内存只有100G，现在要全表扫描一个200G大表，会不会把DB主机的内存用光？逻辑备份时，可不就是做整库扫描吗？若这样就会把内存吃光，逻辑备份不是早就挂了？所以大表全表扫描，看起来应该没问题。这是为啥呢？全表扫描对server层的影响假设，我们现在要对一个200G的InnoDB表db1. t，执行一个全表扫描。当然，你要把扫描结果保存在客户端，会使用类似这样的命令：mysql -h$hos...
MySQL数据库OOM问题解决记录
monang1006的博客
10-03 716
记录一次MySQL内存异常升高的解决过程
MySQL OOM 系统二 OOM Killer
09-10
在实际应用中，如MySQL这样的数据库服务，如果遇到OOM情况，内核会根据上述规则来判断是否需要结束MySQL进程。为了避免MySQL被错误地杀死，系统管理员通常需要密切关注内存使用情况，优化数据库配置，比如限制连接数...
MySQL OOM 系列三 摆脱MySQL被Kill的厄运
09-10
MySQL OOM（Out of Memory）事件是指MySQL服务由于内存耗尽而遭遇的异常情况，可能导致数据库服务被操作系统强制终止，即被"Kill"。在这一系列的第三篇中，我们将探讨如何避免MySQL遭受这种厄运。 首先，我们要理解...
MySQL OOM 系列一 Linux内存分配
09-10
MySQL OOM（Out of Memory）问题常常出现在数据库服务器上，特别是在资源有限的环境中。这个问题的出现通常意味着系统无法为MySQL进程分配更多的内存，导致进程被强制终止。在深入探讨这个问题之前，我们需要理解...
MySQL OOM（内存溢出）的解决思路
12-14
OOM全称”Out Of Memory”，即内存溢出。 内存溢出已经是软件开发历史上存在了近40年的“老大难”问题。在操作系统上运行各种软件时，软件所需申请的内存远远超出了物理内存所承受的大小，就叫内存溢出。 内存溢出...
什么是 OOM, 为什么会 OOM 及一些解决方法
热门推荐
云满笔记
12-01 1万+
标题1. 什么是 OOM, 为什么会 OOM 及一些解决方法1.1. OOM 含义:1.2. 为什么会出现 `java.lang.OutOfMemoryError`: 即 OOM:1.3. OOM 的 error 类型1.4. OOM 分析1.5. 高手总结的 9 种 OOM 常见原因及解决方案1.5.1. Java heap space1.5.1.1. 原因分析1.5.1.2. 解决方案1.5.2. GC overhead limit exceeded1.5.3. Permgen space1.5.3.1
OOM故障处理流程
lyu1026的博客
08-20 1696
一、OOM机制概述 Linux 内核有个机制叫OOM killer(Out Of Memory killer)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，为防止内存耗尽而自动把该进程杀掉。 进程被Linux杀掉几个可能的原因： 内存泄露； 你的进程所需要的内存资源太大，系统无法满足； 也不一定全是你的问题，也有可能是同一主机的其他进程占用资源过多。 数据库OOM可能的故障现...
mysql oom killer_Mysql oom killer 故障浅析
weixin_31845811的博客
01-27 753
最近新服务上线遇到一个问题：mysql因为内存分配问题被内核干掉。问题处理过程：1.查看系统资源情况。a)系统为多服务共存：mysql,pythonservice ,redis等，内存占用70%，cpu占用小于50%。b)禁用了swap2.问题追踪a)分析syslog及mysql错误日志。Mysql被kill掉的时间为00:00:20，原因为内存不足，由oom killer停止mysql进程。Ma...
理解和配置Out of memory: Kill process
aecuhty88306453的博客
10-29 302
转自：爱开源 理解 OOM killer 最近有位 VPS 客户抱怨 MySQL 无缘无故挂掉，还有位客户抱怨 VPS 经常死机，登陆到终端看了一下，都是常见的 Out of memory 问题。这通常是因为某时刻应用程序大量请求内存导致系统内存不足造成的，这通常会触发 Linux 内核里的 Out of Memory (OOM) killer，OOM killer 会杀掉某个进程以...
基于TDSQL-C对OOM问题进行优化
lijianlong1989的博客
03-03 130
OOM是实例使用内存超过实例规格内存上限导致进程被kill，实例存在秒级的不可用。的内存管理比较复杂，内存监控需要开启performance schema查询(默认关闭)，会带来额外的内存消耗和性能损失，在不开启performance schema情况下排查内存使用情况又比较困难。本文将基于TDSQL-C（基于MySQL5.7）总结一下在线上经常出现的一些OOM的场景、排查手段及相应的优化方案。
mysql oom_MySQL OOM 系统二 OOM Killer
weixin_35813719的博客
01-20 121
这里就涉及到一个问题，到底Kill掉谁呢？一般稍微了解一些Linux内核的同学第一反应是谁用的最多，就Kill掉谁。这当然是Linux内核首先考虑的一种重要因素，但是也不完全是这样的，我们查一些Linux的内核方面的资料，可以知道其实Kill谁是由/proc//oom_score来决定的，这个值每个进程一个，是由Linux内核的oom_badness()函数负责计算的。那下面我们来仔细读一读bad...
mysqlOOM
weixin_30915951的博客
07-21 202
https://cloud.tencent.com/developer/article/1005397 转载于:https://www.cnblogs.com/WCFGROUP/p/11223070.html
优化MySQL性能：N个关键习惯与硬件选择
- 调整内核参数，如限制vm.swappiness值以降低使用swap的频率，以及谨慎设置vm.dirty_ratio，防止发生内存不足（OOM）问题。 通过遵循这些习惯，数据库管理员可以显著提升MySQL的整体性能和响应速度，确保系统的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值