linux进程地址空间内核,菜鸟求问linux进程地址空间问题

24 个回复

a582bcbada2697988ab88bb6a55895f3.png

greenarmor

格林阿毛

2011-07-09

分配地址空间和映射物理内存用的,

比如你malloc一块内存,实际上是在vm管理的区域分配,

和实际物理内存没关系

【 在 injoy (injoy) 的大作中提到: 】

: linux用mm_struct中的struct vm_area_struct* mmap队列来管理线性区。但是这个线性区的具体作用体现在哪里?是每次执行一条指令,都会检查此条指令的地址是否位于进程的线性区中吗?此外,那个find_vma()函数,它是根据给定的地址返回此地址位于的线性区。但是这个的实�

: 请各位达人指教,不胜感激!

a582bcbada2697988ab88bb6a55895f3.png

injoy

injoy

2011-07-09

那这里的分配内存和slab有什么关系吗?

【 在 greenarmor (格林阿毛) 的大作中提到: 】

: 分配地址空间和映射物理内存用的,

: 比如你malloc一块内存,实际上是在vm管理的区域分配,

: 和实际物理内存没关系

a582bcbada2697988ab88bb6a55895f3.png

codingmylife

没有昵称

2011-07-12

1)vm_area_struct 是描述用户态进程的;管理其不同的段:如数据段, 代码段, 栈,堆 和 映射段(mmap)

2)严格来说是应该检查是否在对应的代码段。

3)找出对应包含线性地址的vma。查看代码find_vma调用处 就知道了。

【 在 injoy (injoy) 的大作中提到: 】

: linux用mm_struct中的struct vm_area_struct* mmap队列来管理线性区。但是这个线性区的具体作用体现在哪里?是每次执行一条指令,都会检查此条指令的地址是否位于进程的线性区中吗?此外,那个find_vma()函数,它是根据给定的地址返回此地址位于的线性区。但是这个的实际作用(体现在实际运用中)又是什么?

: 请各位达人指教,不胜感激!

a582bcbada2697988ab88bb6a55895f3.png

stronge

enjoy life

2011-07-12

每条指令都检查? 这个怎么解释

【 在 codingmylife (syman) 的大作中提到: 】

: 标  题: Re: 菜鸟求问linux进程地址空间问题

: 发信站: 水木社区 (Tue Jul 12 12:47:36 2011), 转信

:  1)vm_area_struct 是描述用户态进程的;管理其不同的段:如数据段, 代码段, 栈,堆 和 映射段(mmap)

:  2)严格来说是应该检查是否在对应的代码段。

:  3)找出对应包含线性地址的vma。查看代码find_vma调用处 就知道了。

: 【 在 injoy (injoy) 的大作中提到: 】

: : linux用mm_struct中的struct vm_area_struct* mmap队列来管理线性区。但是这个线性区的具体作用体现在哪里?是每次执行一条指令,都会检查此条指令的地址是否位于进程的线性区中吗?此外,那个find_vma()函数,它是根据给定的地址返回此地址位于的线性区。但是这个的实际作用(体现在实际运用中)又是什么?

: : 请各位达人指教,不胜感激!

: --

a582bcbada2697988ab88bb6a55895f3.png

codingmylife

没有昵称

2011-07-14

抱歉,我原先的回答不是很确定。

1)我原先认为 应该像 对指令中的地址做合法性检查 对 EIP(x86)的值做检查。但是现在没有还看到相关代码。 但是细想似乎不需要,只要保证第一条指令内核指令是合法的

和 之后指令中 出现在跳转指令中的地址 做检查  即可保证eip 不是乱指。

2)可能看scheduler的代码会有一些启示。

BTW, 我和同事讨论了这个问题;目前也没有答案。有答案在上来冒泡吧。

【 在 stronge (enjoy life) 的大作中提到: 】

: 每条指令都检查? 这个怎么解释

a582bcbada2697988ab88bb6a55895f3.png

stronge

enjoy life

2011-07-14

我也不太确定,所以上面问了你一下

我的理解是这样的

kernel会通过GDT和pagetable的权限来检测,从而达到每条指令都被检测

【 在 codingmylife (syman) 的大作中提到: 】

: 标  题: Re: 菜鸟求问linux进程地址空间问题

: 发信站: 水木社区 (Thu Jul 14 13:15:28 2011), 转信

:  抱歉,我原先的回答不是很确定。

:   1)我原先认为 应该像 对指令中的地址做合法性检查 对 EIP(x86)的值做检查。但是现在没有还看到相关代码。 但是细想似乎不需要,只要保证第一条指令内核指令是合法的

: 和 之后指令中 出现在跳转指令中的地址 做检查  即可保证eip 不是乱指。

:   2)可能看scheduler的代码会有一些启示。

:  BTW, 我和同事讨论了这个问题;目前也没有答案。有答案在上来冒泡吧。

: 【 在 stronge (enjoy life) 的大作中提到: 】

: : 每条指令都检查? 这个怎么解释

: --

a582bcbada2697988ab88bb6a55895f3.png

stage

stage

2011-07-15

我觉得是通过内存管理来实现的吧,检查指令的线性地址是否在进程的页目录/页表中存

在,并检查内存页的权限,如果存在,就是合法的地址,否则是不合法的

【 在 stronge (enjoy life) 的大作中提到: 】

: 我也不太确定,所以上面问了你一下

: 我的理解是这样的

: kernel会通过GDT和pagetable的权限来检测,从而达到每条指令都被检测

a582bcbada2697988ab88bb6a55895f3.png

stronge

enjoy life

2011-07-15

内存管理不会每个指令都做的

这样想好了

内存管理的指令也需要检查,那由谁来检查?

【 在 stage (stage) 的大作中提到: 】

: 标  题: Re: 菜鸟求问linux进程地址空间问题

: 发信站: 水木社区 (Fri Jul 15 17:49:11 2011), 转信

: 我觉得是通过内存管理来实现的吧,检查指令的线性地址是否在进程的页目录/页表中存

: 在,并检查内存页的权限,如果存在,就是合法的地址,否则是不合法的

: 【 在 stronge (enjoy life) 的大作中提到: 】

: : 我也不太确定,所以上面问了你一下

: : 我的理解是这样的

: : kernel会通过GDT和pagetable的权限来检测,从而达到每条指令都被检测

: --

: 一旦持有,我就死捂

a582bcbada2697988ab88bb6a55895f3.png

codingmylife

没有昵称

2011-07-15

需要, MMU做的检查。就那x86(有MMU, 32bit)的说吧,EIP中的地址是下一条指令的地址。在保护模式下,取指令的过程是要通过MMU的,期间的对页表目录项 及 页面项(假设是3级映射)的后12bit中一下bit位做检查;常见的就是用户程序的page fault。

【 在 stronge (enjoy life) 的大作中提到: 】

: 内存管理不会每个指令都做的

: 这样想好了

: 内存管理的指令也需要检查,那由谁来检查?

a582bcbada2697988ab88bb6a55895f3.png

injoy

injoy

2011-07-15

每条指令都做检查不是很低效吗?

我猜测是每页做检查吧。当指令位于新的一页,才会发生page fault,才会把把相应的页加载进内存,更新TLB。

【 在 codingmylife (syman) 的大作中提到: 】

:   需要, MMU做的检查。就那x86(有MMU, 32bit)的说吧,EIP中的地址是下一条指令的地址。在保护模式下,取指令的过程是要通过MMU的,期间的对页表目录项 及 页面项(假设是3级映射)的后12bit中一下bit位做检查;常见的就是用户程序的page fault。

a582bcbada2697988ab88bb6a55895f3.png

codingmylife

没有昵称

2011-07-15

是低效, 但是CPU有TLB和指令cache啊。

【 在 injoy (injoy) 的大作中提到: 】

: 每条指令都做检查不是很低效吗?

: 我猜测是每页做检查吧。当指令位于新的一页,才会发生page fault,才会把把相应的页加载进内存,更新TLB。

a582bcbada2697988ab88bb6a55895f3.png

injoy

injoy

2011-07-15

那这里的越界以及权限检查和进程的线性区有什么关系吗?

线性区是以页为单位分配的,但是如果某个进程只需要malloc一个很小的数组。那线性区又会发生什么变化?

【 在 codingmylife (syman) 的大作中提到: 】

:  是低效, 但是CPU有TLB和指令cache啊。

a582bcbada2697988ab88bb6a55895f3.png

codingmylife

没有昵称

2011-07-15

不清楚你说的线性区指的啥?

至于malloc:

malloc/new 申请的一段线性地址空间。 malloc会做cache。仅当cache不够用时才

会sys_brk扩展 进程的堆vm area。够用

【 在 injoy (injoy) 的大作中提到: 】

: 那这里的越界以及权限检查和进程的线性区有什么关系吗?

: 线性区是以页为单位分配的,但是如果某个进程只需要malloc一个很小的数组。那线性区又会发生什么变化?

a582bcbada2697988ab88bb6a55895f3.png

injoy

injoy

2011-07-15

ulk的中文翻译,线性区就是指进程的address space,也就是通过vm_area_struct实现的那一连串地址空间。

每个进程的address space都不一样,那是不是每个进程都有一个slab管理器来负责分配堆上的空间?

【 在 codingmylife (syman) 的大作中提到: 】

:  不清楚你说的线性区指的啥?

:  至于malloc:

:    malloc/new 申请的一段线性地址空间。 malloc会做cache。仅当cache不够用时才

: ...................

a582bcbada2697988ab88bb6a55895f3.png

stage

stage

2011-07-15

应该是page fault时才检查,不是每个指令都检查,如果指令所在的页存在,指令应该就

是正确的。

【 在 stronge (enjoy life) 的大作中提到: 】

: 内存管理不会每个指令都做的

: 这样想好了

: 内存管理的指令也需要检查,那由谁来检查?

a582bcbada2697988ab88bb6a55895f3.png

greenarmor

格林阿毛

2011-07-15

slab和进程没关系,是内核自己用的,进程能看到的所有地址都是线性地址

【 在 injoy (injoy) 的大作中提到: 】

: ulk的中文翻译,线性区就是指进程的address space,也就是通过vm_area_struct实现的那一连串地址空间。

: 每个进程的address space都不一样,那是不是每个进程都有一个slab管理器来负责分配堆上的空间?

a582bcbada2697988ab88bb6a55895f3.png

greenarmor

格林阿毛

2011-07-15

re

线性地址访问先通过mmu,mmu失败引发page fault时才交给内核处理

【 在 stage (stage) 的大作中提到: 】

: 应该是page fault时才检查,不是每个指令都检查,如果指令所在的页存在,指令应该就

: 是正确的。

a582bcbada2697988ab88bb6a55895f3.png

stronge

enjoy life

2011-07-16

每条指令都检查的

检查工作由硬件完成(分别在tlb,mmu当中完成)

当然没有通过检查是有page fault,page fault不是用来检查的,而是用来修复错误的

如果修复不了要么进程退出,要么内核崩溃

【 在 stage (stage) 的大作中提到: 】

: 标  题: Re: 菜鸟求问linux进程地址空间问题

: 发信站: 水木社区 (Fri Jul 15 22:06:07 2011), 转信

: 应该是page fault时才检查,不是每个指令都检查,如果指令所在的页存在,指令应该就

: 是正确的。

: 【 在 stronge (enjoy life) 的大作中提到: 】

: : 内存管理不会每个指令都做的

: : 这样想好了

: : 内存管理的指令也需要检查,那由谁来检查?

: --

: 一旦持有,我就死捂

a582bcbada2697988ab88bb6a55895f3.png

codingmylife

没有昵称

2011-07-16

线性地址空间  通常都是在一起啊。 对应有 物理地址空间/虚拟地址空间。

进程不同的 是物理地址空间。

如有网友说的那样, slab allocator 是内核用于 分配 内核数据结构如dcache/inode。有如下调用关系:

libc: malloc  --》 sys_brk  --》 alloc_page(HIGHMEM)

slab:  kmem_cache_create() [slab的allocator 接口,函数名可能随内核版本不同而变化] --》 alloc_page(KERNEL).

同时更正我前面的一个错误: C++ 的new operator是要对应的物理页 也同时被分配。因为RAII的缘故。

【 在 injoy (injoy) 的大作中提到: 】

: ulk的中文翻译,线性区就是指进程的address space,也就是通过vm_area_struct实现的那一连串地址空间。

: 每个进程的address space都不一样,那是不是每个进程都有一个slab管理器来负责分配堆上的空间?

在使用Python来安装geopandas包时,由于geopandas依赖于几个其他的Python库(如GDAL, Fiona, Pyproj, Shapely等),因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南,适用于大多数用户: 使用pip安装 确保Python和pip已安装: 首先,确保你的计算机上已安装了Python和pip。pip是Python的包管理工具,用于安装和管理Python包。 安装依赖库: 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库,你可能需要先安装这些库。通常,你可以通过pip直接安装这些库,但有时候可能需要从其他源下载预编译的二进制包(wheel文件),特别是GDAL和Fiona,因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意:在某些系统上,直接使用pip安装GDAL和Fiona可能会遇到问题,因为它们需要编译一些C/C++代码。如果遇到问题,你可以考虑使用conda(一个Python包、依赖和环境管理器)来安装这些库,或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas: 在安装了所有依赖库之后,你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器,那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境(可选,但推荐): bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas: 使用conda-forge频道来安装geopandas,因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题,比如编译错误或依赖问题,请检查你的Python版本和pip/conda的版本是否是最新的,或者尝试在不同的环境中安装。 某些库(如GDAL)可能需要额外的系统级依赖,如地理空间库(如PROJ和GEOS)。这些依赖可能需要单独安装,具体取决于你的操作系统。 如果你在Windows上遇到问题,并且pip安装失败,尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件,并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas,但如果你想要一个Python脚本来重命名文件夹下的文件,在原始名字前面加上字符串"geopandas",以下是一个简单的示例: python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值