R语言内存管理
R之内存管理-转载
引言
R的内存管理机制究竟是什么样子的?最近几日在讲一个分享会,被同学问到这方面的问题,可是到网上去查,终于找到一篇 R语言内存管理 不过讲的不清不楚的,就拿memory.limit()函数来说,是在windows下才使用的,作者几乎没有提及,还有rm(),gc()函数到底怎么工作的,什么时候用,都无从提及。看来百度是解决不了了,关键时候还是靠google啊,这不,很快找到了一篇相当不错的文章 Memory ,还是人家外国人比较注重细节,下面的部分几乎是从那儿翻译过来的。需要学习R的高级编程的同学,可以下载Advanced R,本文属于其中的一个章节。另外值得一提的是在《R语言实践》一书中的附录G对于怎么高效编程,也有一些建议!
目录
1. Object size 查看对象在内存中占用的空间大小。
2. Memory used & garbage collection 主要介绍mem_used()和mem_changed()函数来阐述R内存的分配和释放的具体工作机制。
3. Memory profiling with lineprof 使用lineprof包,对代码运行中内存的分配和释放,以及花费的实践统计分析。
4. Modification in place 介绍R对象什么时候才会被拷贝?
准备工作
下面的部分要用到的包为pryr,lineprof,以及ggplot2包中的数据集,因此如果还没有安装的可以运行下面的代码安装:
install.packages("ggplot2")
install.packages("pryr")
devtools::install_github("hadley/lineprof")
1. Object size
这一节用到的第一个重要的函数为pryr包中的object_size(),这个函数返回R对象占用的内存空间。object_size()函数与object.size()相比,能够计算R对象内部共享部分的内存空间以及R对象的上下文环境的大小。下面的代码分别计算了vector,函数,数据集的大小,在R语言中函数也是一个对象。
> library(pryr)
> object_size(1:10)
#>88 B
> object_size(mean)
#>832 B
> object_size(mtcars)
#>6.74 kB
R对象所占资源内存的分配并不是线性的,例如一个空的向量被分配的资源并不是0,我们做下面的实验(运行代码查看图形):
sizes <- sapply(0:50, function(n) object_size(seq_len(n)))
plot(0:50, sizes, xlab = "Length", ylab = "Size (bytes)",
type = "s")
一个空的R对象分配到的内存空间并不是0,下面的代码充分说明了这一点:
> object_size(numeric())
#>40 B
> object_size(logical())
#>40 B
> object_size(raw())
#>40 B
> object_size(list())
#>40 B
40B大小的空间,到底存了哪些内容?主要分两大部分:
R空对象数据
- R对象的元数据(4 Bytes),包括基础的数据类型(例如 integer)和用于调试和内存管理的一些信息数据。
- 两个指针(2*8 Bytes),一个指针指向内存中的前一个对象,另外一个指针指向内存中下一个对象,由于是双指针的,所以使得循环变得简单。
- 一个指针指向attributes(8 Bytes)。
R向量对象额外的数据
- 向量的大小信息(4 Bytes),占用4Bytes空间,所能表示的最大的空间为24 × 8 − 1 (231, 大约为2百万),R3.0.0或者以后这个数可能更大,详细可以参见 Read R-internals 。
- 向量“True”的大小(4 Bytes)。这个数据一般都用不到,但是当向量用作hash表时,那么该值反映的是真正占用的大小。
- 数据块(?? Bytes)。对于空向量,该值为0;另外该值随着数据类型的不同,每个元素占用的长度不同,例如numeric为8 Bytes,integer为4 Bytes,复杂的向量为16 Bytes。
除去向量对象的数据块,我们计算一下空向量占用的大小为(4+2*8+8+4+4=36 Bytes),那么剩下的4 Bytes在哪里?熟悉C语言的人,可能会知道“字节填充”的概念,对于64位系统来说,系统访问内存最好为8 Bytes的边界,否则会访问两次才能访问到数据,造成不能在一个读周期内完全能读取到数据;另外考虑到不同的平台,可能访问规则不同,字节填充有利于平台的移植。如果你感兴趣,可以查阅 C str