日常填坑 ——linux服务器，mongodb吃内存，导致服务器缓慢

最新推荐文章于 2024-09-24 09:26:04 发布
最新推荐文章于 2024-09-24 09:26:04 发布
阅读量3.1k 收藏 6
点赞数 1
分类专栏： 日常填坑 文章标签： 填坑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maohoo/article/details/87938732
版权

通过free -h 命令，发现服务器可用内存不足，并发现大量的内存被占用到buff/cache中。
在这里插入图片描述

一类，直接可以通过命令进行释放

sync; echo 3 > /proc/sys/vm/drop_caches

在这里插入图片描述
可以看到，cached的19G内存已经释放。

这种情况还算比较乐观的情况，一般也不用过度分析buff/cached占比这么高的原因，比较中轨中轨的解决方案是，写一个定时脚本进行buff/cached占用内容的释放，这里不做重点展示，可自行google.

第二类，通过释放内存的命令无法正常释放buff/cached占用的内容

遇到这种情况一般就需要具体分析是什么进程导致buff/cached占比这么高？

如果想分析都是哪些进程导致buffers/cached占比这么高，需要安装hcache.

1：安装hcache

网上搜索到比较多的方式是：wget http://7xir15.com1.z0.glb.clouddn.com/hcache
但是已经访问404了，也可以直接访问hcache的github项目，直接下载二进制文件，在拷贝到服务器上，git地址：https://github.com/silenceshell/hcache

2: 授权

chmod +x hcache

3：查看占用buff/cached的进程

hcache -top 10

在这里插入图片描述
发现项目中是mongodb占用了大部分的内存，查看相关资料得知3.4版本后，内存默认使用的是(系统内存-1GB)*50%

在这里插入图片描述

4： 解决方法

通过以下命令启用MongoDB

/usr/bin/mongod --config /etc/mongod.conf --fork --wiredTigerCacheSizeGB 8

关键在于 --wiredTigerCacheSizeGB 8 限制缓存使用内存大小为8GB，这样MongoDB使用的内存就是(8GB-1GB)* 50%

maohoo
关注
专栏目录
【0173】推荐6款最好使用的PostgreSQL GUI工具
专注【PostgreSQL源码学习&研究】
02-03 1623
PostgreSQL GUI工具具有许多的优势，比如说：
centos7 内存占用率高处理问题
weixin_34146410的博客
01-25 8808
一、内存占用高是正常现象吗？ 在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方面，区别于 Windows的内存管理。主要特点是，无论物理内存有多大，Linux都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性来提高Linux系统的数据访问性能。而...
mongodb mysql资源占用_Linux 下 限制 MongoDB 内存占用
weixin_39519554的博客
01-27 134
可以通过绑定cpu，来防止多实例相互干扰。mongodb的内存也可以限制主，防止全部内存都被一个实例占据。多实例下:可以通过绑定cpu，来防止多实例相互干扰。mongodb的内存也可以限制主，，防止全部内存都被一个实例占据。ulimit -s 4096 && ulimit -m 31457280 && sudo -u mongodb numactl --cpunod...
hcache查看系统缓存
最新发布
zengyakun90的博客
09-24 482
hcache是基于pcstat的，pcstat可以查看某个文件是否被缓存和根据进程pid来查看都缓存了哪些文件。hcache在其基础上增加了查看整个操作系统Cache和根据使用Cache大小排序的特性。
Mongodb释放内存
码农的专栏
03-15 1万+
Mongodb释放内存 1、由于碰到过mongodb吃掉所有闲置内存的情况，导致服务器操作越来越慢。虽然对mongodb的读操作没有太多影响， 但是此时写入的性能却极剧下降（怀疑内存不够引起的）。由于要收集大量的历史文件数据， 每次多线程收集到一定的程度时，写入文件速度越来越慢，经过多次测试发现，均与服务内存的使用峰值有关。 当服务器内存使用率较低时，多线程写入较快，当服务器内存被mongodb...
Mongdb重启后dirty很高，cache打满
weixin_43143287的博客
06-08 979
1、现象描述 通过mongostat观察到，此时并没有业务，dirty很高，一直刷不出去 日志中一直会有提示oplog的全表扫描 2、查看当前进程在做的事情 ps -T -p 145574 | awk '{print $2}' | sed '1d' | while read pid; do echo "-p ${pid}"; done | xargs strace 2>&1 | grep -v futex 调整措施 1、提高wt cache和内存淘汰线程数 db.run
MongoDB涉及的业务比较慢--慢查询优化分析案例--以及参数说明
weixin_33859665的博客
04-27 328
描述：该优化案例是想表达要了解各个参数的含义，结合业务的分析以及逻辑实现、以及创建索引和列顺序是如何选择的等(这里不再叙述)环境描述一下：MongoDB版本 3.0.9，副本集3节点，内存64G，cpu 16 core，磁盘2TB SSD，使用WT存储引擎。。。该表数据量2.6亿多。大致分析如下：通过mloginfo统计查看日志中慢查询的分类(将生产系统日志scp到测试服务器...
【C C++服务器开发】中间件的含义及常用中间件介绍_c+(1)
2401_84263208的博客
04-18 914
DDL 包括 CREATE、DROP、ALTER 等动作。在数据库中使用 CREATE 来创建新表，DROP 来删除表，ALTER 负责数据库对象的修改。例如，创建学生信息表使用以下命令：在实践中，可根据实际情况进行权衡，或者在软件层面提供配置方式，由用户决定如何选择 CAP 策略。CAP 理论可用在不同的层面，可以根据 CAP 原理定制局部的设计策略，例如，在分布式系统中，每个节点自身的数据是能保证 CA 的，但在整体上又要兼顾 AP 或 CP。
malloc函数背后的实现原理——内存池
Linuxhus的博客
06-25 392
1|0前言 相对于栈而言，堆这片内存面临着一个稍微复杂的行为模式：在任意时刻，程序可能发出请求，要么申请一段内存，要么释放一段已经申请过的内存，而且申请的大小从几个字节到几个GB都有可能，我们不能假设程序一次申请多少堆空间，因此，堆的管理显得较为复杂。 那么，使用 malloc() 在堆上分配内存到底是如何实现的呢？ 一种做法是把 malloc() 的内存管理交给系统内核去做，既然内核管理着进程的地址空间，那么如果它提供一个系统调用，可以让 malloc() 使用这个系统调用去申请内存，不就可以了吗？
TCP和UDP详解
Linuxhus的博客
11-06 951
本篇文章主要是从运输层协议概述、UDP、TCP、可靠传输的工作原理、TCP首部格式、TCP可靠传输的实现、TCP流量控制、TCP的拥塞控制、TCP的连接管理这几个方面进行解析。不对之处还望指出，喜欢的可以点赞关注一下，谢谢。 一、运输层协议概述 1.进程之间的通信 从通信和信息处理的角度看，运输层向它上面的应用层提供通信服务，它属于面向通信部分的最高层，同时也是用户功能中的最低层。 当两台主机使用网络的核心部分的功能进行点对点通信的时候，只有位于边缘部分的主机的协议栈才有运输层，而.
系统设计架构——互联网案例
大猩猩的博客
12-19 193
为了提高可扩展性和构建速度，Google 开发了内部专用工具链以更快地扩展它，并制定严格的编码质量标准以保持其一致性。根据间隔需要进行权衡。很高兴看到我们对架构的发展进行了更多的讨论，并对其优缺点进行了更诚实的讨论。多年来，Microrepo 拥有了更多支持的工具，包括用于 Java 的 Maven 和 Gradle、用于 NodeJS 的 NPM 以及用于 C/C++ 的 CMake 等。Google 的代码审查流程以设定高标准而闻名，无论业务如何，都能确保 Monorepo 保持一致的质量标准。
mongodb内存占用过高处理
m0_61088973的博客
06-16 3044
2、修改最大占用内存。打开mongodb安装目录，找到配置文件，cacheSizeGB指定分配的最大内存。3、重启mongodb服务，查询mongodb的最大占用内存，就会发现修改成功。1、首先查询下mongodb的最大占用内存。
mongodb占用内存太大解决办法
Circle-C的博客
01-26 3042
在使用MongoDB的时候遇到了一个内存占用的问题，爬虫爬过来的图片在库中存的是网络地址，要写一个脚本对图片进行分批下载，所以会对MongoDB频繁查询。 发现使用过程中mongod的服务占用了40.5%的内存 查看相关资料得知3.4版本后，内存默认使用的是(系统内存-1GB)*50% 我通过以下命令启用MongoDB /usr/bin/mongod --config /etc/mongod.conf --fork --wiredTigerCacheSizeGB 8 关键在于 --wi..
一不小心，MongoDB可将服务器内存耗尽
sinat_34806137的博客
12-31 2917
概述 MongoDB默认占用内存比较大，如果和其他应用部署一起，足以将服务器内存快速耗尽。后果：或被系统杀死其进程或杀死系统其他进程。不论何种结果，都不是我们所愿意看到的。 如何应对 1、最好将MongoDB单独部署，否则易导致服务器内存不足，因其默认是按系统内存进行分配，而不考虑其他进程占用内存的情况，且本身所需内存越大越好。具体内存情况可查看其官网。 从MongoDB 3.4开始，默认...
MongoDB限制内存使用量
qq_39228423的博客
03-09 608
MongoDB限制内存使用量
mongodb占用内存过大
qingfeng2556的博客
11-19 3479
主机4核8G内存 1、情景: 当天运营让统计最近3个月消耗数量, 3个每月聚合统计，每月数据大约在1千万，表最大1.5亿条， 同时有查询插入，每秒查询20，插入10 此时内存降低1G，报警 2、尝试解决 查询完毕后，内存没释放，报警没停止 尝试释放内存命令 db.runCommand({closeAllDatabases:1})，但是3.2以后不能用，目前线上3.4.0 ...
关于mongodb占用内存过大的问题
若云流风的专栏
11-02 2万+
一、现象 最近发现自己服务器内存越来越少，查了一下原来是部署的mongodb使用内存在线性增加。不查不知道，一查吓一跳，竟然占用了3G的内存。。 二、分析 1.内存增加的原因 mongo为了优化他的读写效率，将内存当做缓存，所以你读写次数越多，缓存就越大。默认值： 从3.4开始，WiredTiger内部......
Mongo数据库吃内存问题以及解决情况
热门推荐
top_gun_1的专栏
03-02 3万+
起因最近一直跑得好好的项目总是会莫名其妙的停了服务，最初的时候没有在意这个情况，觉得可能只是一个意外而已，可连着发生了好几次，就觉得有点怪异了，然后查看tomcat的log文件，就发现了问题所在了，内存不足当时还觉得有点不理解，应该这台服务器的配置还是很高的，然后服务器上也只是跑了两个tomcat和一个mongo数据库，觉得不应该有这种问题的，然后就去查了一下资料，原来是mongo数据库在作祟，然...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值