nodejs 内存泄漏

最新推荐文章于 2024-07-04 21:09:22 发布
最新推荐文章于 2024-07-04 21:09:22 发布
阅读量1.6k 收藏
点赞数
分类专栏： Node.js 杂货 WEB 文章标签： memcached 内存泄露 heapdump
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongshaoshuai/article/details/46792667
版权

memwatch

test.js

var http = require('http');

var server = http.createServer(function (req, res) {
     for (var i=0; i<1000; i++) {
            server.on('request', function leakyfunc() {});
             }

              res.end('Hello World\n');
}).listen(1337, '127.0.0.1');

server.setMaxListeners(0);
console.log('Server running at http://127.0.0.1:1337/. Process PID: ', process.pid);

启动服务

-bash-4.1$ node test.js
Server running at http://127.0.0.1:1337/. Process PID:  12842

无限请求

-bash-4.1$ while true; do curl "http://127.0.0.1:1337/"; done

查看内存情况-bash-4.1$ top -12842
内存不断上涨

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
12842 d  20   0  754m 123m 6296 R 97.3  3.4   0:30.25 node

安装memwatchnpm install --save memwatch
修改test.js

var http = require('http');
var memwatch = require('memwatch');

memwatch.on('leak', function(info) {
    console.error('Memory leak detected: ', info);
});

var server = http.createServer(function (req, res) {
     for (var i=0; i<1000; i++) {
            server.on('request', function leakyfunc() {});
             }

              res.end('Hello World\n');
}).listen(1337, '127.0.0.1');

server.setMaxListeners(0);
console.log('Server running at http://127.0.0.1:1337/. Process PID: ', process.pid);

再重复上面操作,memwatch发现了内存泄漏就会输出这样

-bash-4.1$ node test.js
Server running at http://127.0.0.1:1337/. Process PID:  10640
Memory leak detected:  { start: Tue Jul 07 2015 17:19:51 GMT+0800 (CST),
  end: Tue Jul 07 2015 17:19:52 GMT+0800 (CST),
  growth: 8157816,
  reason: 'heap growth over 5 consecutive GCs (1s) - -2147483648 bytes/hr' }
Memory leak detected:  { start: Tue Jul 07 2015 17:19:52 GMT+0800 (CST),
  end: Tue Jul 07 2015 17:19:52 GMT+0800 (CST),
  growth: 326688,
  reason: 'heap growth over 5 consecutive GCs (0s) - -2147483648 bytes/hr' }
Memory leak detected:  { start: Tue Jul 07 2015 17:19:52 GMT+0800 (CST),
  end: Tue Jul 07 2015 17:19:53 GMT+0800 (CST),
  growth: 2194336,
  reason: 'heap growth over 5 consecutive GCs (1s) - -2147483648 bytes/hr' }

Heap Diffing 可以看某段代码的内内存泄漏情况

// Take first snapshot
var hd = new memwatch.HeapDiff();

// do some things ...

// Take the second snapshot and compute the diff
var diff = hd.end();
console.log(diff);

test.js:

var http = require('http');
var memwatch = require('memwatch');
var heapdump = require('heapdump');


var hd;
memwatch.on('leak', function(info) {
    console.error(info);
    if (!hd) {
        hd = new memwatch.HeapDiff();
    } else {
        var diff = hd.end();
        console.log(diff);
        hd = null;
    }
});

var server = http.createServer(function (req, res) {
     for (var i=0; i<1000; i++) {
         server.on('request', function leakyfunc() {
         });
             }

              res.end('Hello World\n');
}).listen(1337, '127.0.0.1');

server.setMaxListeners(0);
console.log('Server running at http://127.0.0.1:1337/. Process PID: ', process.pid);

输出这样：

-bash-4.1$ node test.js
Server running at http://127.0.0.1:1337/. Process PID:  23138
{ start: Tue Jul 07 2015 19:40:34 GMT+0800 (CST),
  end: Tue Jul 07 2015 19:40:34 GMT+0800 (CST),
  growth: 8009744,
  reason: 'heap growth over 5 consecutive GCs (0s) - -2147483648 bytes/hr' }
{ start: Tue Jul 07 2015 19:40:35 GMT+0800 (CST),
  end: Tue Jul 07 2015 19:40:35 GMT+0800 (CST),
  growth: 325648,
  reason: 'heap growth over 5 consecutive GCs (0s) - -2147483648 bytes/hr' }
{ before:
   { nodes: 141391,
     time: Tue Jul 07 2015 19:40:34 GMT+0800 (CST),
     size_bytes: 13936304,
     size: '13.29 mb' },
  after:
   { nodes: 146593,
     time: Tue Jul 07 2015 19:40:35 GMT+0800 (CST),
     size_bytes: 14040744,
     size: '13.39 mb' },
  change:
   { size_bytes: 104440,
     size: '101.99 kb',
     freed_nodes: 3269,
     allocated_nodes: 8471,
     details:
      [ [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object],
        [Object] ] } }
{ start: Tue Jul 07 2015 19:40:36 GMT+0800 (CST),
  end: Tue Jul 07 2015 19:40:36 GMT+0800 (CST),
  growth: 1785744,
  reason: 'heap growth over 5 consecutive GCs (0s) - -2147483648 bytes/hr' }

heapdump

安装heapdumpnpm install heapdump
人家文档说了Node是v0.6 or v0.8的话要装这个版本npm install heapdump@0.1.0
修改test.js：

var http = require('http');
var memwatch = require('memwatch');
var heapdump = require('heapdump');

memwatch.on('leak', function(info) {
    console.error('Memory leak detected: ', info);
    var file = '/data/home/dongshaoshuai/memleak/' + process.pid + '-' + Date.now() + '.heapsnapshot';
        heapdump.writeSnapshot(file, function(err){
            if (err) {
                console.error(err);
            } else {
                console.error('Wrote snapshot: ' + file);
            }
    });
});


var server = http.createServer(function (req, res) {
     for (var i=0; i<1000; i++) {
            server.on('request', function leakyfunc() {});
             }

              res.end('Hello World\n');
}).listen(1337, '127.0.0.1');

server.setMaxListeners(0);
console.log('Server running at http://127.0.0.1:1337/. Process PID: ', process.pid);

再来无限请求：
while true; do curl "http://127.0.0.1:1337/"; done
输出这样：

-bash-4.1$ node test.js
Server running at http://127.0.0.1:1337/. Process PID:  3034
Memory leak detected:  { start: Tue Jul 07 2015 17:56:39 GMT+0800 (CST),
  end: Tue Jul 07 2015 17:56:40 GMT+0800 (CST),
  growth: 8020976,
  reason: 'heap growth over 5 consecutive GCs (1s) - -2147483648 bytes/hr' }
Wrote snapshot: /data/home/dongshaoshuai/memleak/3034-1436263000668.heapsnapshot
Memory leak detected:  { start: Tue Jul 07 2015 17:56:41 GMT+0800 (CST),
  end: Tue Jul 07 2015 17:56:41 GMT+0800 (CST),
  growth: 326496,
  reason: 'heap growth over 5 consecutive GCs (0s) - -2147483648 bytes/hr' }
Wrote snapshot: /data/home/dongshaoshuai/memleak/3034-1436263001402.heapsnapshot

会在指定目录生成heapsnapshot文件,每次发生内存泄漏都会写入一个新的heapsnapshot文件

.. (up a dir)
/data/home/dongshaoshuai/memleak/
  3034-1436263000668.heapsnapshot
  3034-1436263001402.heapsnapshot
  test.js

将3034-1436263000668.heapsnapshot复制到windows下，用Chrome浏览器的Profile功能打开i此文件
这里写图片描述
将文件load进来，就可以看到内存泄漏情况
这里写图片描述

绿苹果果
关注
专栏目录
NodeJS前端应用内存泄漏代码优化解决方案
u010516157的专栏
03-13 1042
内存泄漏并非指内存在物理上的消失，而是应用程序分配某段内存后，由于设计错误，导致在释放该段内存之前就失去了对该段内存的控制，从而造成了内存的浪费。最终，在最糟糕的情况下，过多的可用内存被分配掉导致全部或部分设备停止正常工作，或者应用程序崩溃。前端应用在压测过程中，内存一直增加，停止压测后，内存一直不下降，可能是因为出现了内存泄漏。上面的例子中，obj引用了 DOM 对象element，而element的onclick是outerFunction的内部函数，从而导致了对外部函数的引用，从而引用了obj，
看我如何搞定Nodejs内存泄漏问题
02-01
最近又用node写了一个小工具，需要常驻进程，经过几天的观察，发现内存占用有持续增加的趋势(虽然不明显，但还是让我察觉到了，我真屌)。突然发现，我竟然不知道怎么排查nodejs的内存泄漏，吓死宝宝了! 花时间看了一下相关资料(google真好，外果仁真屌)，看来这部分也已经有比较完善的方法论+工具了。所以这篇文章记录一下自己从不懂到入门的经历~~ 我希望这篇文章不仅能提供具体的工具供大家使用，还提供足够的理论知识来辅助大家思考，当然，也可能是我自己想多了~~哇哈
检测nodejs内存泄露
qq_42880714的博客
10-01 1483
检测nodejs内存泄露
Node.js HTTP 模块的内存泄露问题
标子 的专栏
06-30 677
这个例子虽然看起来有点不常见，用法也很怪异，但是从侧面说明了虽然 JS 自带 GC，但是因为逻辑 / 引用关系复杂，还是很容易出现内存泄露问题，所以写代码时还是需要注意，具体的 issue 可以参考 https://github.com/nodejs/node/issues/48604。
nodejs内存泄漏
Allen_Walker_QAQ的博客
07-18 776
V8内存限制 node基于V8构建，通过V8的方式进行分配跟管理js对象。V8对内存的使用有限制（老生代内存64位系统下约为1.4G，32位系统下约为0.7G，新生代内存64位系统下约为32MB，32系统下约为16MB）。在这样的限制下，将导致无法操作大内存对象。如果不小心触碰这个界限，就会造成进程退出。 原因：V8在执行垃圾回收时会阻塞JavaScript应用逻辑，直到垃圾回收结束再重新执行...
nodejs内存泄漏分析-完整步骤
qq_37051858的博客
01-30 2371
webrtc信令服务器与流媒体服务器 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学..
nodeJs内存泄漏问题详解
10-21
Node.js内存泄漏问题详解 内存泄漏在Node.js环境中是一个重要的问题，因为JavaScript在服务器端运行时，内存管理的效率和准确性直接影响着服务的稳定性和性能。Node.js是基于Google的V8 JavaScript引擎构建的，因此...
NodeJs 异常处理和内存泄漏处理
baidu_19552787的博客
12-17 1744
express() 表示创建express应用程序。简单几行代码其实就可以创建一个应用，如下： 案例一：异常处理，防止程序崩溃案例。 var express = require(&quot;express&quot;);//require用于在当前模块中加载和使用其他模块； var app = express(); //创建express应用程序 //app.get(name),get()为获取设置项 name ...
[nodejs] 了解内存泄漏
lwq的博客
03-28 1462
什么是内存泄漏 GC (Garbage Collection，垃圾回收) 内存泄漏的常见情况 1. 全局对象 2. 闭包 3. 事件监听 4. 其他原因 小结 什么是内存泄漏 内存泄漏（Memory Leak）指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。 如果内存泄漏的地方刚好是程序执行的重要位置，那么程序就可能会因为堆积越来越多无用的内存，...
Node.js 应用开发详解11 内存检查：多种类型的内存泄漏分析方案
fegus的博客
09-28 2324
只需要 2 个工具就可以分析出内存泄漏的问题：heapdump 内存快照的工具chrome dev tools 中的 Memory Profilesheapdump` ));在代码中的第 5 行引用了这个库，然后调用 dumpFun 从 10 点 53 分开始，每隔 60 秒打印一次内存快照。这个库如何实现的细节，你可以自己去GitHub 源码中的 lib 目录下查看，主要是做了一层封装，能够更好地适用我们的应用场景。打开 Chrome 浏览器的控制台，在图 1 界面可以找到该工具。
Memleak测试Node.js内存泄漏
江南阁
02-28 298
内存泄漏（Memory Leak）是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。因此我们需要排查一切可能导致内存泄漏的原因。 下载地址：https://sourceforge.net/projects/memleak/ 解压后文件内容： 这是一个用C语言写的一个测试工具包，memleak.h中提供的方法都是以...
如何理解NodeJs的内存泄露和解决办法
克里斯蒂亚诺更新的博客
04-17 533
当一个对象被分配了内存空间但后续不再被使用时，如果该对象的引用仍然存在，它将无法被垃圾回收器正确释放，从而导致内存泄漏。因为事件监听器会持有对监听对象的引用，如果对象不再需要但事件监听器仍然存在，对象将无法被垃圾回收器正确释放。：当在闭包中引用了外部作用域的变量时，如果闭包仍然存在但外部作用域的变量不再需要，将导致外部作用域的变量无法被释放。通过这样做，我们确保了当不再需要监听器时，事件监听器被正确移除，从而释放了对监听对象的引用，避免了内存泄漏的问题。方法来移除事件监听器，以释放对象的引用。
hadoop连接hdfs报错Call From master/172.27.0.5 to master:8020 failed on connection exception: 问题的解决
qq_34409900的博客
10-03 4829
今天启动完成之后hadoop，然后连接hdfs发现死活连接不上，然后网上看了一些信息，发现好多是讲防火墙关闭，网络端口修改成可以远程连接。然后试了之后发现都不行，然后检查了自己的hosts文件的设置和环境变量发现也没有问题。 最后把core-site.xml里设置路径的tmp文件夹、dfs文件夹、data文件夹、name文件夹、hadoop根目录logs文件夹等清空...
express 内存溢出问题分析定位
weixin_30640291的博客
04-08 529
一、现象 1. 如下报错 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 1: node::Abort() [/usr/local/bin/node] 2: node::OnFatalError(char const*, char const*)...
检测js代码中可能导致内存泄漏的工具
忧郁的蛋的专栏
03-08 2812
JavaScript 中闭包等问题可能导致内存泄漏，因为闭包中引用的变量不会被垃圾回收器自动释放。
Node调试指南-内存篇_nodejs 调试core
最新发布
2401_85158364的博客
07-04 453
我们的测试代码很简单，没有引用任何第三方模块，如果项目较大且引用的模块较多，则 v8 findjsobjects 的结果将难以甄别，这个时候可以多次使用 gcore 进行 Core Dump，对比发现增长的对象，再进行诊断。
node扩展 memwatch分析
weixin_34122810的博客
01-06 801
介绍 memwatch是一个c++扩展，主要用来观察nodejs内存泄露问题，基本用法如下： const memwatch = require('@airbnb/memwatch'); function LeakingClass() { } memwatch.gc(); var arr = []; var hd = new memwatch.HeapDiff(); for (var i = 0;...
Nodejs - 内存泄露调查
风吹草动的博客
03-07 1279
Nodejs - 内存泄露调查内存使用设置设置例插件安装memwatch-next安装测试代码追加HeapDump安装测试代码追加压力测试后的结果Google DevTools比较文件 Nodejs内部使用V8的解析器，内存使用上限大约为 1.7G 左右， 内存的回收机制却是，一直占用，直到快满的时候才释放回收。 虽然EC2的类型设置为了 m5 的内存优化类型，但是node服务器的性能并没有改善，...
Nodejs内存泄漏问题检测和解决策略
Node.js 内存泄漏问题解决方案 Node.js 作为一个基于 JavaScript runtime 的服务器端语言，最近几年来越来越流行，然而，它也存在一些问题，其中之一就是内存泄漏问题。本文将讨论如何解决 Node.js 内存泄漏问题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值