linux内核那些事之物理内存模型之SPARSE（3）

最新推荐文章于 2024-01-20 08:51:27 发布
最新推荐文章于 2024-01-20 08:51:27 发布
阅读量1.1k 收藏 11
点赞数 1
分类专栏： 内核源码分析 文章标签： 内核
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42730667/article/details/117197315
版权
本文介绍了Linux内核中的SPARSE内存模型，旨在解决FLAT和DISCONTIGMEM模型的问题。SPARSE通过将内存划分为section进行管理，减少了因空洞造成的浪费，并引入了vmemmap提高转换效率。内容涵盖了mem_section管理、PAGE与PFN转换的详细过程，以及page_to_pfn和pfn_to_page的转换核心思路。
摘要由CSDN通过智能技术生成

在内核FLAT和DISCONTIGMEM管理模型中，其实一直都存在两个问题

  • 管理物理内存的数据结构本身占用内存较多，不使用于较大内存情况
  • 无法解决空洞问题，不管是FLAT还是SPARCE模型都无法解决一个节点内的内存空洞问题，必须是一段连续空间即mem_map数组就很大，即使中间存在黑洞，mem_map数组必须也得申请，比较浪费空间

基于上述两个主要问题linux 物理内存模型技术演进到SPARCE模型 本意是稀疏即不再是连续的，space模式是从https://lwn.net/Articles/134804/开引入到内核中，下面说明了该模型的几个优势：

Sparsemem abstracts the use of discontiguous mem_maps[].This kind of mem_map[] is needed by discontiguous memory machines (like in the old CONFIG_DISCONTIGMEM case) as well as memory hotplug systems.Sparsemem replaces DISCONTIGMEM when enabled, and it is hoped that it can eventually becom

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Huo的藏经阁
关注
专栏目录
订阅专栏
Linux内存管理（十四）：内存模型SPARSEMEM
私房菜
07-05 821
源码基于：Linux5.4 在博文 内存架构和内存模型简述 中简单描述了处理器中对于内存共享技术的架构NUMA 和 UMA，以及基于这两个架构衍生的内存模型FLATMEM、DISCONTIGMEM、SPARSEMEM，其中FLATMEM 和 DISCONTIGMEM 因为各自的缺点而被放弃，SPARSEMEM 是Linux 中最多用途的内存模型，也是唯一一个支持多种高级features 的内存模型，例如物理内存的hot-plug 和 hot-remove、非易失性内存设备的替代内存映射、延迟大型系统内存映
linux内核那些事之Sparse内存模型初始化
weixin_42730667的博客
06-13 1372
由于现在运行的设备中大都采用sparse内存模型，而《understanding the linux virtual memory manager》书中主要以2.4和2.6内核源码基础上进行讲解当时并没有sparse模型，故重新以5.8.10代码为基础重新梳理下内存相关代码。 memblocks_present() memblocks_present()函数是sparse内存模型初始化接口，意思是有一个新的内存块上线，不管是初始化还是热插拔内存都会进入到该函数里面，代码如下： { struct m
（四）Linux内存模型之Sparse Memory Model
M120674的专栏
08-10 554
背景 Read the fucking source code!--By 鲁迅 A picture is worth a thousand words.--By 高尔基 说明： Kernel版本：4.14 ARM64处理器，Contex-A53，双核 使用工具：Source Insight 3.5， Visio 1. 介绍 顺着之前的分析，我们来到了bootmem_init()函数了，本以为一篇文章能搞定，大概扫了一遍代码之后，我默默的把它拆成了两部分。bootmem_init()函数代码如..
sparse.txt 的中文翻译
08-12 451
Chinese translated version of Documentation/sparse.txt If you have any comment or update to the content, please contact the original doc
搞懂sparsemem稀疏内存模型
GetnextWindow的专栏
07-28 739
随着大内存和内存热插拔技术发展，内核物理内存越来越不连续，内核管理这种非连续物理内存的元数据metadata也需要随之发展，避免内存浪费，内核的sparse mem稀疏内存模型就是解决该问题。数据结构mmzone.h//根据sec number计算属于哪个root，即mem_section二位数组第一维的index//2048//相当于是[2048][256]的二维数组，每个数组元素是struct mem_section//为了节省空间，这个字段包含很多信息，具体见下面源码的解释/*
linux内核那些事之pg_data_t、zone结构初始化
weixin_42730667的博客
07-19 1033
free_area_init 继续接着《linux内核那些事之ZONE》，分析内核物理内存初始化过程，zone_sizes_init()在开始阶段主要负责对各个类型zone 大小进行计算，并根据内核启动参数movable_node和kernelcore，以及实际物理内存情况，计算出各个node节点所划分出的可以移动的内存给ZONE_MOVABLE，并将各个节点ZONE_MOVABLE的内存保存到zone_movable_pfn数组中，最后所有准备工作完成之后，free_area_init()在最后会具体初
Linux内存管理(3)：物理内存页面的组织和管理
zhang_shuaifeng的博客
04-13 177
FLATMEM、SPARSEMEM、struct pglist_data和struct zone和struct page
Linux内存管理（二十一）：buddy 系统简介和初始化
私房菜
07-22 1293
在zone初始化一文中简单剖析了zone的初始化流程，也是继memblock初始化和SPARSEMEM初始化之后有一个内存管理层，而zone这一层管理层中，所有的物理内存都会被添加到zone中的成员变量free_area数组管理，而它就是buddy系统管理的核心数据结构。本文将该数据结构单独拉出来进行分析，并通过其剖析buddy系统的管理原理。.........................................................
linux so内存模型,【原创】（四）Linux内存模型之Sparse Memory Model
weixin_39593469的博客
05-08 357
摘要：义。关于内存模型，可以参考Memory:theflat,thediscontiguous,andthesparse3.SparseMemory本节分析的是ARM64,UMA(linux4.14中不支持ARMNUMA)下的SparseMemory模型。3.1mem_section在SparseMemory模型中，section是管理内存online/offline的最小内存单元，在ARM64中...
sparse memory内存模型中page_to_pfn()的实现原理
choumin的专栏
04-10 629
内存模型 Linux 内核把页面当作物理内存管理的基本单位（一般情况下，虚拟页叫页面，而物理页叫页帧）。每个页帧对应一个 struct page 结构体（页描述符），这是一个体系结构无关的数据结构。pfn 是物理页的编号。 在内核中，每个页帧必然有唯一一个页描述符与之对应。于是，页描述符的地址与pfn之间存在对应关系，即 page_to_pfn() 和 pfn_to_page()。 同时，Linux 内核支持 3 种不同的“内存模型”，分别是：Flat Memory、Discontigous Memory
（2024，SPARC，细粒度序列损失，文本标记和语言分组的视觉嵌入）提高图像文本预训练的细粒度理解
最新发布
qq_44681809的博客
01-20 975
我们介绍稀疏细粒度对比对齐（SPARse Fine-grained Contrastive Alignment，SPARC），这是一种从图像-文本对中预训练更细粒度多模态表示的简单方法。鉴于多个图像补丁通常对应单个词语，我们建议为每个标题中的每个文本标记学习图像补丁的分组。为了实现这一点，我们使用图像补丁和文本标记之间的稀疏相似度度量，计算每个标记的语言分组的视觉嵌入，作为补丁的加权平均值。然后，通过仅依赖于个别样本而不需要其他批次样本作为负样本的细粒度序列损失，对文本标记和语言分组的视觉嵌入进行对比。
linux sparse
wmzjzwlzs的专栏
04-14 415
Sparse 诞生于 2004 年, 是由linux之父开发的, 目的就是提供一个静态检查代码的工具, 从而减少linux内核的隐患.其实在Sparse之前, 已经有了一个不错的代码静态检查工具("SWAT"), 只不过这个工具不是免费软件, 使用上有一些限制.所以 linus 还是自己开发了一个静态检查工具.具体可以参考这篇文章(2004年的文章了): Finding kernel problems automatically。
Linux 静态代码检查工具：sparse 的安装和使用
http://lotte-bai.github.io/
03-22 1953
sparse 是用于 C 语言的语法分析器，用以对 C 代码进行静态检查，它不但可以检查 ANSI C 而且还能检查具有 gcc 扩展的 C 。在 Linux 中，不但可以检查用户端代码，还可以检查内核代码。起初它由 Linus 编写，后来交给其他人维护。 获得一个新的sparse: $ git clone git://git.kernel.org/pub/scm/devel/sparse/sparse.git 官方文档： Documentation/dev-tools/sparse.rst http
Linux 物理内存管理涉及的三大结构体之struct page
weixin_45337360的博客
11-23 2861
本文主要详细的介绍了内存管理中三大结构体的struct page。将struct page里面的每个部分拆分出来，结合代码，对每个部分，每个成员变量尽力做到详细讲解。如果不对之处，请指正。最后想说的是：struct page结构的设计充分体现了内核设计人员为了减少内存占用的所做出的各种努力，且这种努力还在一直在继续。
linux内核 struct page结构的三种存放方式
RToax
08-03 2561
目录 page struct的三种存放方式 1) FLATMEM 2) SPARSEMEM 3) SPARSEMEM_VMEMMAP 随着硬件能力的提升，系统内存容量变得越来越大。尤其是在服务器上，过T级别的内存容量也已经不罕见了。 如此海量内存给内核带来了很多挑战，其中之一就是page struct存放在哪里。 page struct的三种存放方式 在内核中，我们将物理内存按照页大小进行管理。这样每个页就对应一个page struct作为这个页的管理数据结构。 随着内存容量的增加，相对应
内核工具 – Sparse 简介
weixin_34357887的博客
03-01 426
Sparse是内核代码静态分析工具, 能够帮助我们找出代码中的隐患.   主要内容： Sparse 介绍 Sparse 使用方法 Sparse 在编译内核中的使用 补充   1. Sparse 介绍 Sparse 诞生于 2004 年, 是由linux之父开发的, 目的就是提供一个静态检查代码的工具, 从而减少linux内核的隐患. 其实在Sparse之前, 已经有了一...
linux内核页框管理的实现
zxx910509的博客
04-11 2926
一、页框描述 二、页框组织 三、空闲页框的组织 四、页框的分配与释放 五、每CPU页框高速缓存 六、页框分配数据结构关系图 七、页框分配时，node和zone的选择
Linux文件系统之sparse文件处理与传输
weixin_34129696的博客
08-15 650
0. 什么是sparse文件 当用户申请一块很大的存储空间时，由于最开始并没有写入数据(全是空)，此时文件系统为了节省存储资源，提高资源利用率，不会分配实际存储空间，只有当真正写入数据时，操作系统才真正一点一点地分配空间，比如一次64KB。于是这个文件看起来很大，而占用空间很小，实际占用空间只与用户填的数据量有关。该文件看起来像一个大盒子，但可能装的...
ARM架构下Linux内核高低端内存设置解析
"这篇文档详细介绍了在ARM架构下Linux内核如何在启动过程中设置高低端内存的分界线。文章作者以Linux 3.0版本的内核源码为分析对象，逐步解析了相关代码，主要涉及`init.c`文件中的`__initbootmem_init(void)`函数。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Huo的藏经阁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值