笔记：linux内核内存布局以及/dev/mem

参考一下两篇文章：

linux内核内存管理(zone_dma zone_normal zone_highmem)(linux memory layout)

/dev/mem可没那么简单

学习笔记（以x86为例）

linux的虚拟地址空间：

32位的CPU，最大寻址范围为2^32 - 1也就是4G的线性地址空间。Linux简化了分段机制，使得虚拟地址与线性地址总是一致的。linux一般把这个4G的地址空间划分为两个部分：其中0～3G为用户程序地址空间，虚地址0x00000000到0xBFFFFFFF,供各个进程使用；3G～4G为内核的地址空间，虚拟地址0xC0000000到0xFFFFFFFF, 供内核使用。（注意，ARM架构不是3G/1G划分的，而是2G/2G划分。这里以3G/1G划分作讲解）。

1. 物理内存（以4G内存为例）依次由DMA_ZONE（0～16M），NORMAL_ZONE（16~896M）和HIGH_ZONE(896~4G)组成。
2. 内核虚拟地址空间又可以分为lowmemory和highmemory两个部分或者对应物理内存的DMA_ZONE，NORMAL_ZONE（DMA_ZONE和NORMAL_ZONE线性映射到内核虚拟地址空间（即物理地址加一个offset））和HIGH_ZONE（需要通过kmap动态映射）三个部分：

• 其中lowmemory（共896M, 位置vm_kernel_base ~ vm_kernel_base + 896M）对应物理内存DMA_ZONE，NORMAL_ZONE。NORMAL_ZONE主要存放内核会频繁使用的数据如kernel代码、GDT、IDT、PGD、mem_map数组等。
• highmemory（共128M，位置vm_kernel_base + 896M ～1G）对应物理内存HIGH_ZONE部分，主要存放用户数据、页表(PT)等不常用数据，只有要访问这些数据时才建立映射关系(通过kmap())，这样即使内核的虚拟地址空间最大只有1G也可以通过higmemory的128M空间采用动态建立映射的方式访问HIGH_ZONE的全部内容，结合lowmemory访问DMA_ZONE，NROMAL_ZONE，可以实现对整个4G内存的访问。highmemory的使用场景：譬如可以通过ioremap使用位于HIGH_ZONE部分的IO内存，又或者在内核虚拟空间（3~4G）访问用户虚拟空间（0~3G）的数据（通过将用户空间内存数据映射到内核空间实现）。

 

/dev/mem内存映射：

如果不做CONFIG_STRICT_DEVMEM限定，那么可以映射所有的地址空间；

如果添加了CONFIG_STRICT_DEVMEM限定，在做映射前会执行一下检测：

• 地址范围不能超过4G；
• 该物理地址所在的iomem不能是exclusive（独占）的；
• 该物理地址不能在内核的lowmem部分。

简单解析一下"/driver/char/mem.c"中mmap的实现：

static int mmap_mem(struct file *file, struct vm_area_struct *vma)
{
	size_t size = vma->vm_end - vma->vm_start;

	if (!valid_mmap_phys_addr_range(vma->vm_pgoff, size))
		return -EINVAL;

	if (!private_mapping_ok(vma))
		return -ENOSYS;

	if (!range_is_allowed(vma->vm_pgoff, size))
		return -EPERM;

	if (!phys_mem_access_prot_allowed(file, vma->vm_pgoff, size,
						&vma->vm_page_prot))
		return -EINVAL;

	vma->vm_page_prot = phys_mem_access_prot(file, vma->vm_pgoff,
						 size,
						 vma->vm_page_prot);

	vma->vm_ops = &mmap_mem_ops;

	/* Remap-pfn-range will mark the range VM_IO */
	if (remap_pfn_range(vma,
			    vma->vm_start,
			    vma->vm_pgoff,
			    size,
			    vma->vm_page_prot)) {
		return -EAGAIN;
	}
	return 0;
}

• "valid_mmap_phys_addr_range"函数检查要mmap的物理地址范围是否超过4G空间，超过则无效；
• "private_mapping_ok"函数对于支持MMU的平台来说总是返回"1"；
• "range_is_allowed"在没有配置CONFIG_STRICT_DEVMEM的情况下总是返回"1"，配置了的话需要该物理地址所在的iomem不能使exclusive独占的，并且不能处在lowmem空间中；
• "phys_mem_access_prot_allowed"总是返回"1"表示可以设置该段需要被映射内存的protection标志；

 

以上4段在/dev/mem可没那么简单 都有分析，查看源码很容易理解，下面单独介绍一下"phys_mem_access_prot"。该函数是用来给vma的protection属性添加noncached属性（或者叫做noncached & nonbuffered，即对内存的访问是不经过硬件cache和buffer的，处理器一般具有4种cache属性：non-cached&non-buffered/non-cached&buffered/cached&write-through/cached&write-back(参考关于cache和write buffer和ARM的cache和写缓冲器（write buffer）)）。

#ifdef pgprot_noncached
static int uncached_access(struct file *file, phys_addr_t addr)
{
#if defined(CONFIG_IA64)
	/*
	 * On ia64, we ignore O_DSYNC because we cannot tolerate memory
	 * attribute aliases.
	 */
	return !(efi_mem_attributes(addr) & EFI_MEMORY_WB);
#elif defined(CONFIG_MIPS)
	{
		extern int __uncached_access(struct file *file,
					     unsigned long addr);

		return __uncached_access(file, addr);
	}
#else
	/*
	 * Accessing memory above the top the kernel knows about or through a
	 * file pointer
	 * that was marked O_DSYNC will be done non-cached.
	 */
	if (file->f_flags & O_DSYNC)
		return 1;
	return addr >= __pa(high_memory);
#endif
}
#endif

static pgprot_t phys_mem_access_prot(struct file *file, unsigned long pfn,
				     unsigned long size, pgprot_t vma_prot)
{
#ifdef pgprot_noncached
	phys_addr_t offset = pfn << PAGE_SHIFT;

	if (uncached_access(file, offset))
		return pgprot_noncached(vma_prot);
#endif
	return vma_prot;
}

"#ifdef pgprot_noncached"如果不支持noncahed的page访问属性那么直接采用用户空间mmap设定的属性，否则执行"uncached_access(file, offset)"检查是否应为该段内存设置noncached访问属性。"uncached_access(file, offset)"针对三种平台IA64/MIPS/OTHERS提供了三种不同的检测方式（实际是两种：MIPS和OTHERS平台的实现方式是一样的，体现在"__uncached_access(file, offset)"函数中），对于非IA64平台如果设置了文件的O_DSYNC位那么对于文件内存的访问就应该是noncached的，或者要映射的物理内存位于highmem地址空间，那么对其的访问也应该是noncached的。

最后如果支持noncached属性，那么就通过"pgprot_noncached(vma_prot)"向vma的protection属性中添加noncached属性。

最终调用"remap_pfn_range(vma, vma->vm_start, vma->vm_pgoff, size, vm->vm_page_prot)"实现物理地址到虚拟地址的映射。