大页内存使用方式

linux系统下有时进行dma传输时需要申请连续物理内存空间，当需要申请大于4M的连续物理内存时可以使用大页内存地址。

要使用 HugePages，首先要向内核声明可以使用的 HugePages 数量
proc/sys/vm/nr_hugepages 文件保存了内核可以使用的 HugePages 数量
我们可以使用以下命令设置新的可用 HugePages 数量：
echo 20 > /proc/sys/vm/nr_hugepages 
上面命令设置了可用的 HugePages 数量为 20 个(也就是 20 个 2MB 的内存页)

另外启动脚本：/boot/grub/grub.cfg中的系统启动项参数需要预留内存空间用于大页内存
例如8G内存，如果设置内存大小参数mem=6G，则预留2G用于大页内存
menuentry 'Kylin 4.0.2 4.4.131-20200710.kylin.desktop-generic' --class kylin --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-simple-3cb34cc5-3138-457d-a7ba-e634622241bb' {
        insmod part_gpt
        insmod ext2
        set root='hd0,gpt1'
        search --no-floppy --fs-uuid --set=root 299786cd-4b73-44e5-8b8e-63e97b268e67
        linux   /uImage-4.4.131-20200710.kylin.desktop-generic root=UUID=3cb34cc5-3138-457d-a7ba-e634622241bb rw  quiet splash mem=6G loglevel=0 resume=UUID=7c61bece-6698-48ac-9dd8-9467e3143b67 rootdelay=10 KEYBOARDTYPE=pc KEYTABLE=us security= 
        initrd  /initrd.img-4.4.131-20200710.kylin.desktop-generic
        devicetree /dtb-4.4.131-20200710.kylin.desktop-generic/device-tree/phytium/u-boot-general.dtb
}

用户空间大页内存使用方式如下：

#include <sys/mman.h>
#include <stdio.h>
#include <memory.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdint.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>




int teseMemPhy(uint64_t phyAddr,int size)
{
	 int memfd=0;
	 void *virtAddr;
	 memfd=open("/dev/mem",O_RDWR|O_SYNC);
	 if(memfd==-1)
	 {
		 printf("err:failed %s",strerror(errno));
		 return -1;
	 }
	
	 virtAddr=(void*)mmap(0,size,PROT_READ|PROT_WRITE,MAP_SHARED|MAP_LOCKED,memfd,phyAddr);
	 if(virtAddr == MAP_FAILED)
	 {
		 printf("err:failed to map %s",strerror(errno));
		 return -1;
	 }
	 #if 1
	 if(mlock((void*)virtAddr,size)<0)
	 {
		 printf("err:failed to lock");
		return -1;
	 }
	 #endif
	 printf("phyAddr:0x%lx virtAddr:%p\n",phyAddr,virtAddr);
	 munmap(virtAddr, size);
         close(memfd);

	 return 0;
 }

 
 int main(int argc, char *argv[])
 {
 	uint64_t phyAddr = 0; 
	int size = 0;
 	if(argc >= 3)
	{
		phyAddr = strtol(argv[1],NULL,16);
		size = strtol(argv[2],NULL,16);
		printf("phyAddr:0x%lx size:0x%x\n", phyAddr,size);
		teseMemPhy(phyAddr,size);
	}
	else
	{
		printf("parameters err!\n");
	}
	return 0;
 }

如果需要通过dma_alloc_coherent

如果想直接通过调研dma_alloc_coherent接口申请大内存可以在内核启动参数增连续内存大小配置，例如cma=1G配置最大可申请1G连续内存。

grub.cfg修改如下：

menuentry 'Kylin 4.0.2 4.4.131-20200710.kylin.desktop-generic' --class kylin --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-simple-3cb34cc5-3138-457d-a7ba-e634622241bb' {
        insmod part_gpt
        insmod ext2
        set root='hd0,gpt1'
        search --no-floppy --fs-uuid --set=root 299786cd-4b73-44e5-8b8e-63e97b268e67
        linux   /uImage-4.4.131-20200710.kylin.desktop-generic root=UUID=3cb34cc5-3138-457d-a7ba-e634622241bb rw  quiet splash mem=6G  cma=1G loglevel=0 resume=UUID=7c61bece-6698-48ac-9dd8-9467e3143b67 rootdelay=10 KEYBOARDTYPE=pc KEYTABLE=us security=