首先,介绍一下Matlab中memory的一些基本常识:
Q1:Matlab是如何存储矩阵的
Matlab中矩阵是以Block,也就是块的形式存储的。也就是说,当Matlab在为即将存储的矩阵划分块时,如果没有相应大小的连续内存,即使实际内存没有被完全使用,Matlab还是会报告“Out of Memory”。
Q2:如何高效使用Memory
由于在使用的过程中,由于存储单元的不断的被分配和清除,内存会被分割成不连续的区域,这是很容易造成“Out of Memory”。
1.为矩阵变量预制内存而不是动态分配
动态分配的过程中,由于开始Matlab所用的Block随着矩阵的增大而连续的为此矩阵分配内存,但是由于Block的不连续性,很有可能最开始分配的Block不能满足存储的需要,Matlab只好移动此Block以找到更大的Block来存储,这样在移动的过程中不但占用了大量的时间,而且很有可能它找不到更大的块,导致Out of Memory。而当你为矩阵变量预制内存时,Matlab会在计算开始前一次性找到最合适的Block,此时就不用为变量连续的分配内存。
比较下面两个程序:
for k = 2:1000
x(k) = x(k-1) + 5;
endx = zeros(1, 1000);
for k = 2:1000x(k) = x(k-1) + 5;
end
显然,第二个更好!!!最好的方法是,在程序一开始就位所有大的矩阵变量预制存存储单元!!! 尽量早的分配大的矩阵变量
Matlab使用heap method管理内存。当在Matlab heap中没有足够的内存使用时,它会向系统请求内存。但是只要内存碎片可以存下当前的变量,Matlab会重新使用内存。
比如:
a = rand(1e6,1);
b = rand(1e6,1);
使用大约15.4 MB RAM
c = rand(2.1e6,1);使用近似16.4 MB RAM:
a = rand(1e6,1);
b = rand(1e6,1);
clear
c = rand(2.1e6,1);
使用32.4 MB RAM。因为Matlab不能使用a、b被clear的空间,因为它们均小于2.1 MB,而同时它们也很可能是不连续的。
最好的方法:
c = rand(2.1e6,1);
clear
a = rand(1e6,1);
b = rand(1e6,1);
使用16.4 MB RAM
2.尽量避免产生大的瞬时变量,当它们不用的时候应该及时clear。
3.尽量的重复使用变量
4.将矩阵转化成稀疏形式
如果矩阵中有大量的0,最好存储成稀疏形式。稀疏形式的矩阵使用内存更少,执行时间更短。
例如:1000×1000的矩阵X,它2/3的元素为0,使用两种存储方法的比较:
Name X Y
Size 1000x1000 1000x1000
Bytes 8000000 4004000
Class double array double array (sparse)
5.使用pack命令
当内存被分为很多碎片以后,其实本身可能有很大的空间,只是没有作构的连续空间即大的Block而已。如果此时Out of Memory,此时使用pack命令可以很好的解决此问题。
6.如果可行的话,将一个大的矩阵划分为几个小的矩阵,这样每一次使用的内存减少。
7.增大内存
Q3: 增加虚拟内存.
wap space的设置与使用的操作系统有关,具体的如下:
1. UNIX
Information about swap space can be procured by typing pstat -s at the UNIX command prompt. For detailed information on changing swap space, ask your system administrator.
2. Linux
Swap space can be changed by using the mkswap and swapon commands. For more information on the above commands, type man followed by the command name at the Linux prompt.
3. Windows NT
Follow the steps shown here: Right-click the My Computer icon, and select Properties. Select the Performance tab and click the Change button to change the amount of virtual memory.
4.Windows 2000
右键“我的电脑”->属性->高级->性能->设置->高级,从而改变其虚拟内存。
5. Windows XP
右键“我的电脑”->属性->高级->性能->设置->高级,从而改变其虚拟内存。
Q4:尽量少时用系统资源(对于Windows)
Windows中字体、窗口等都是要占用系统资源的,所以在Matlab运行时尽量不要打开不用的窗口,尽量关闭无关的应用程序。当刚刚开机以后,只启动matlab时,其连续内存较大,可以创建比较大的矩阵。
总结一下解决方案:
# 增加虚拟内存 (具体方法前面有提到)
# 采用PACK (在命令行输入 pack 整理内存空间)
# 采用3GB 开关启动系统(右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制,在下一行粘贴,并将粘贴一行改为multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时,选择带有 3GB switche的一项--->>打开matlab),这时运行system_dependent memstats,就能看到virtual memory total 到了3G。
# 优化程序,减少变量 (使用稀疏矩阵 sparse),特别大的数据,分批次处理,用save保存变量,需要时再用load读取变量
# 如果必有必要,不要启动java虚拟机,采用matlab -nojvm启动,在快捷方式属性里的 "..../matlab.exe",改为"...../matlab.exe" - nojvm
#关闭Matlab Server
# 如果对数据的精度要求不高,选择使用单精度single替代双精度double。