麒麟操作系统内存泄漏导致Gaussdb(DWS)数仓DN故障

一、背景

    客户一套数仓集群在使用过程中反馈drop table 时卡住不动，然后报错，如下图所示：

 二、检查分析

根据报错定位分析*.85这台机器dn_6013_6014有问题，登录查看，通过cm_ctl query -Cv命令查看发现此dn6014已经宕掉，检查此dn的日志：

 

 提示内存不足，检查服务器内存使用情况：

 发现auditd服务占用418.9G内存，服务器总内存为512G,导致服务器内存不足，无太多剩余内存分配给集群

三、处理

1.临时处理方法

停止此服务释放内存恢复正常：

systemctl stop auditd.service

auditd.service ：auditd.service 是linux自带的审计服务功能，Linux audit通过分析系统上正在发生的细节信息，能够有效帮助您提高系统的安全。但是，它本身不提供额外的安全性保障，此服务可正常关闭掉。

2.根据麒麟操作系统厂商提供的方式对内存泄漏的组件进行修复

（1）audit 组件内存泄露问题处理

官网漏洞修复公告: https://www.kylinos.cn/support/update/6.html
现象： auditd 服务内存一直大量占用
步骤一：查看服务器版本

 步骤二：查看本机 audit 版本,se.06 是有内存泄问题的版本， 需要升级

步骤三：升级 audit 组件到版本号 08 或 08 版本以上， 以下为版本号 12 版本。
 提前下载好升级包，下载地址看附录内容：

第四步：重启audit服务。

 

 第五步：查看 audit 版本,以下为已经升级的版本， 有问题的版本为 se.06 及 se.06 之前的版本

 升级完可以 top 命令监控 auditd 进程已经不占大量内存。

四、补充：mate-indicators 组件内存泄露问题处理

官网漏洞修复公告： https://www.kylinos.cn/support/update/11.html
原因： 程序内存泄露， 申请内存未释放。

提前下载好升级包， 下载地址看文档最后部分:

第一步： 查看服务器版本

 第二步： 查看组件版本

 第三步： 升级组件版本到 p07 或以上

 第四步： 升级完组件之后， 需要注销或者重启服务器

重启后， 查看版本已经升级完毕， 可以 top 命令监控， 已经不占大量内存了。

附件：

服务器 V10 SP1 基础源地址:
x86 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP1.1/os/adv/lic/base/x86_64/Packages/
arm64 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP1.1/os/adv/lic/base/aarch64/Packages/
服务器 V10 SP1 更新源地址：
x86 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP1.1/os/adv/lic/updates/x86_64/Packages/
arm64 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP1.1/os/adv/lic/updates/aarch64/Packages/
服务器 V10 SP2 基础源地址:
x86 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP2/os/adv/lic/base/x86_64/Packages/
arm64 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP2/os/adv/lic/base/aarch64/Packages/
服务器 V10 SP2 更新源地址：
x86 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP2/os/adv/lic/updates/x86_64/Packages/
arm64 架构访问： https://update.cs2c.com.cn/NS/V10/V10SP2/os/adv/lic/updates/aarch64/Packages/
注意： 如果缺依赖， 可以上以上链接对应的服务器系统架构及版本下载依赖