java 内存分页_Java的大内存分页支持

本文详细介绍了如何通过启用Linux系统的大内存页( HugePages )来优化Java程序的矩阵乘法运算,从而减少TLB miss带来的性能影响。作者在Ubuntu 10.04上进行实验,发现使用大内存页后,相同程序的运行时间从76秒降低到45秒。文章列举了启用大内存页的步骤,包括修改内核参数、设置用户权限以及调整JVM参数。最后,提供了Java程序实现矩阵乘法的代码示例。
摘要由CSDN通过智能技术生成

原文:http://kilik.iteye.com/blog/677253

最近在研究java的性能调优,顺手写了一个小程序来测试性能问题。这个程序用来进行矩阵乘法运算,如下:

for (int i = 0; i < 2048; i++)for (int j = 0; j < 2048; j++)for (int k = 0; k < 2048; k++)

res[i][j]+= mul1[i][k] * mul2[k][j];

在ubuntu 10.04(64bit)下,JDK 1.6.0.20运行该程序共耗时76秒。分析下来,影响运行速度的因素主要有两个:cache miss  和 TLB miss.

这里主要讲TLB miss的问题,cache miss留待下回分解。由于,在默认情况下内存分页大小为4K, 而每次作乘法时,取值均跨至少8K(4*2048)的范围,而一级数据页表缓存(L1 DTLB)是非常小的,Intel Core 2架构下4KB小页表的条目只有16个。这意味着TLB miss的概率很高,最差情况下每次数据访问都将出现一次miss;而使用大内存分页(如,2M)后,大概每256次数据访问出现一次miss。实际情况确实反映了这一现象,使用大内存页后,同样的程序耗时大幅下降到45秒。

接下来介绍如何在Ubuntu 10.04(64bit) + JDK (Hotspot 1.6.0.20) 环境下启用大内存页,并指定jvm使用大内存页。这些步骤应该也可以应用到其他linux系统。(注,为完成下列步骤,用户需要有root权限)

1. 了解linux系统对大内存页的支持。

# grep Huge /proc/meminfo

HugePages_Total: 0

HugePages_Free: 0

Hugepagesize: 2048 kB

说明,系统支持2M的大内存分页。

2. 修改内核参数,为large page预留内存

a. 设置共享内存段最大值,最少要大于jvm使用的large page的内存。

如需要设置大小为2G(1024*1024*1024*2=2147483648),则添加下行到文件 /etc/sysctl.conf

kernel.shmmax=2147483648

b. 设置需要预留多少大内存页。

如需要为jvm预留1G的large page内存,则需要预留512页大内存页(512*2M=1G)

添加下行到文件 /etc/sysctl.conf

vm.nr_hugepages=512

3. 为你的进程添加访问large page共享内存段的权限

添加新的用户组,并把自己加入到这个组。如,添加用户组 hugetlb,并把当前用户 kilik 添加到该组。

添加下行到文件 /etc/sysctl.conf ,其中1001为用户组hugetlb的gid。

vm.hugetlb_shm_group = 1001

4. 修改用户安全设置,允许进程锁定更大的内存段

large page共享内存必须锁定到主存,不能swap到磁盘,因此需要修改用户的memlock设置。添加如下两行到文件 /etc/security/limits.conf。其中,1048576代表1G(1024*1024 K)

kilik    hard    memlock    1048576

kilik    soft    memlock    1048576

5. 重启OS以使上述设置生效。

6. 添加相关jvm运行参数,告诉jvm使用large page内存。

不同的jvm有不同的参数设置来开启大内存页的支持,对Sun Hotspot而言,这个参数是 -XX:+UseLargePages。因此可以使用如下命令行来运行矩阵乘法程序。

java -XX:+UseLargePages -Xmx512m -Xms512m -cp . org.kilik.perf.ClassicMatrixMulti

Java程序实现矩阵乘法:https://blog.csdn.net/Waria/article/details/77417751

/**

* 矩阵乘法

* a点乘b,当矩阵a的列数x与矩阵b的行数y相等时可进行相乘

* a乘b得到的新矩阵c,c的行数y等于a的行数,c的列数x等于b的列数

* Created by Queena on 2017/8/19.

*/

public class MatrixMultiplication {

public static int[][] matrix(int a[][], int b[][]) {

//当a的列数与矩阵b的行数不相等时,不能进行点乘,返回null

if (a[0].length != b.length)

return null;

//c矩阵的行数y,与列数x

int y = a.length;

int x = b[0].length;

int c[][] = new int[y][x];

for (int i = 0; i < y; i++)

for (int j = 0; j < x; j++)

//c矩阵的第i行第j列所对应的数值,等于a矩阵的第i行分别乘以b矩阵的第j列之和

for (int k = 0; k < b.length; k++)

c[i][j] += a[i][k] * b[k][j];

return c;

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值