linux2.4.30内核文件系统学习(多图).doc,Linux2430内核文件系统学习(多图).doc

62e50291a81fc54b507f33cb80033297.gif Linux2430内核文件系统学习(多图).doc

(30页)

de40b057cdd416dd5e37e1b550881bea.gif

本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦!

23.9 积分

Linux  2.4.30 内核文件系统学习(多图) 1:  关键数据结构1.   概述 根据以前学习内核源码的经验,在学习文件系统实现之前,我大概定了个目标:1、  建立一个清晰的全局概念。为将来需要研究代码细节打下坚实基础。2、  只研究虚拟文件系统 VFS 的实现,不研究具体文件系统。为什么选择 Linux 2.4.30?因为可以参考《Linux 源码情景分析》一书,减少学习难度。 1.1.              基本概念1、  一块磁盘(块设备),首先要按照某种文件系统(如 NTFS)格式进行格式化,然后才能在其上进行创建目录、保存文件等操作。在 Linux 中,有“安装”文件系统和“卸载”文件系统的概念。一块经过格式化的“块设备”(不管是刚刚格式化完的,没有创建任何名录和文件;还是已经创建了目录和文件),只有先被“安装”,才能融入 Linux 的文件系统中,用户才可以在它上面进行正常的文件操作。2、  Linux 把目录或普通文件,统一看成“目录节点”。通常一个“目录节点”具有两个重要属性:名称以及磁盘上实际对应的数据。本文中,“目录节点”有时简称为“节点”“符号链接”是一种特殊的目录节点,它只有一个名称,没有实际数据。这个名称指向一个实际的目录节点。3、  “接口结构”:在 内核代码中,经常可以看到一种结构,其成员全部是函数指针,例如:struct file_operations {  struct module *owner;  loff_t (*llseek) (struct file *, loff_t, int);  ssize_t (*read) (struct file *, char *, size_t, loff_t *);  ssize_t (*write) (struct file *, const char *, size_t, loff_t *);  int (*readdir) (struct file *, void *, filldir_t);  unsigned int (*poll) (struct file *, struct poll_table_struct *);  int (*ioctl) (struct inode *, struct file *, unsigned int, unsigned long);  int (*mmap) (struct file *, struct vm_area_struct *);  int (*open) (struct inode *, struct file *);  int (*flush) (struct file *);  int (*release) (struct inode *, struct file *);  int (*fsync) (struct file *, struct dentry *, int datasync);  int (*fasync) (int, struct file *, int);  int (*lock) (struct file *, int, struct file_lock *);  ssize_t (*readv) (struct file *, const struct iovec *, unsigned long, loff_t *);  ssize_t (*writev) (struct file *, const struct iovec *, unsigned long, loff_t *);  ssize_t (*sendpage) (struct file *, struct page *, int, size_t, loff_t *, int);  unsigned long (*get_unmapped_area)(struct file *, unsigned long, unsigned long, unsigned long, unsigned long);};这种结构的作用类似与 C++ 中的“接口类”,它是用 C 语言进行软件抽象设计时最重要的工具。通过它,将一组通用的操作抽象出来,核心的代码只针对这种“接口结构”进行操作,而这些函数的具体实现由不同的“子类”去完成。以这个 file_operations“接口”为例,它是“目录节点”提供的操作接口。不同的文件系统需要提供这些函数的具体实现。本文中,“接口结构”有时简称“接口”。 1.2.              虚拟文件系统Linux 通过虚拟文件系统 (VFS) 来支持不同的具体的文件系统,那么 VFS 到底是什么?从程序员的角度看,我认为 VFS 就是一套代码框架(framework),它将用户与具体的文件系统隔离开来,使得用户能够通过这套框架,以统一的接口在不同的具体的文件系统上进行操作。这套框架包括:1、  为用户提供统一的文件和目录的操作接口,如  open, read, write2、  抽象出文件系统共有的一些结构,包括“目录节点”inode、“超级块”super_block 等。3、  面向具体的文件系统,定义一系列统一的操作“接口”, 如 file_operations, inode_operations, dentry_operation,具体的文件系统必须提供它们的实现。4、  提供一套机制,让具体的文件系统融入 VFS 框架中,包括文件系统的“注册”和“安装”5、  实现这套框架逻辑的核心代码 我对文件系统的学习,实际上就是学习虚拟文件系统这套框架是如何实现的。   2.   核心数据结构数据结构是代码的灵魂,要分析一个复杂的系统,关键是掌握那些核心的数据结构,这包括:1、  弄清数据结构的核心功能。一个数据结构通常具有比较复杂的成员,此外,还有一些成员用于建立数。省略部分。eidata 中要带着一个 vfsmount 的原因。   6.   打开文件 6.1.              “打开文件”结构 file 一个文件每被打开一次,就对应着一个 file 结构。我们知道,每个文件对应着一个 dentry 和 inode,每打开一个文件,只要找到对应的 dentry 和 inode 不就可以了么?为什么还要引入这个 file 结构? 这是因为一个文件可以被同时打开多次,每次打开的方式也可以不一样。而dentry 和 inode 只能描述一个物理的文件,无法描述“打开”这个概念。因此有必要引入 file 结构,来描述一个“被打开的文件”。每打开一个文件,就创建一个 file 结构。 file 结构中包含以下信息:打开这个文件的进程的 uid,pid打开的方式读写的方式当前在文件中的位置实际上,打开文件的过程正是建立file, dentry, inode 之间的关联的过程。  f_dentryf_opd_inodei_fopopenstruct filestruct dentrystruct inodestruct file_operationsreadwriteioctlllseekmmap7.   文件的读写文件一旦被打开,数据结构之间的关系已经建立,后面对文件的读写以及其它操作都变得很简单。就是根据 fd 找到 file 结构,然后找到 dentry 和 inode,最后通过 inode->i_fop 中对应的函数进行具体的读写等操作即可。  8.   进程与文件系统的关联8.1.              “打开文件”表和 files_struct结构一个进程可以打开多个文件,每打开一个文件,创建一个 file 结构。所有的 file 结构的指针保存在一个数组中。而文件描述符正是这个数组的下标。我记得以前刚开始学习编程的时候,怎么都无法理解这个“文件描述符”的概念。现在从内核的角度去看,就很容易明白“文件描述符”是怎么回事了。用户仅仅看到一个“整数”,实际底层对应着的是 file, dentry, inode 等复杂的数据结构。files_struct 用于管理这个“打开文件”表。 struct files_struct {    atomic_t count;    rwlock_t file_lock;    /* Protects all the below members.  Nests inside tsk->alloc_lock */    int max_fds;    int max_fdset;    int next_fd;    struct file ** fd;    /* current fd array */    fd_set *close_on_exec;    fd_set *open_fds;    fd_set close_on_exec_init;    fd_set open_fds_init;    struct file * fd_array[NR_OPEN_DEFAULT];}; 其中的 fd_arrar[] 就是“打开文件”表。task_struct 中通过成员 files 与 files_struct 关联起来。8.2.              struct  fs_structtask_struct 中与文件系统相关的还有另外一个成员 fs,它指向一个 fs_struct 。struct fs_struct {       atomic_t count;       rwlock_t lock;       int umask;       struct dentry * root, * pwd, * altroot;       struct vfsmount * rootmnt, * pwdmnt, * altrootmnt;};其中:root 指向此进程的“根目录”,通常就是“根文件系统”的根目录 dentrypwd 指向此进程当前所在目录的 dentry因此,通过 task_struct->fs->root,就可以找到“根文件系统”的根目录 dentry,这就回答了 5.1 小节的第一个问题。rootmnt :指向“安装”根文件系统时创建的那个 vfsmount pwdmnt:指向“安装”当前工作目录所在文件系统时创建的那个 vfsmount这两个域用于初始化 nameidata 结构。8.3.              进程与文件系统的结构关系图 下图描述了进程与文件系统之间的结构关系图:   9.   参考资料1、《Linux 源码情景分析》上册2、Linux 2.4.30 源码  struct nameidata {       struct dentry *dentry;       struct vfsmount *mnt;       struct qstr last;       unsigned int flags;       int last_type;};static inline struct inode *iget(struct super_block *sb, unsigned long ino){            struct inode *inode = iget4_locked(sb, ino, NULL, NULL);            if (inode && (inode->i_state & I_NEW)) {                        sb->s_op->read_inode(inode);                        unlock_new_inode(inode);            }            return inode;} 关 键 词: 文件 linux 2430 内核 系统 学习 linux2430

524d6daf746efaa52c3c71bbfe7ba172.gif  天天文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。

关于本文

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1 目标检测的定义 目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标(物体),确定它们的类别和位置,是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务,目标定位和目标分类。首先检测图像中目标的位置(目标定位),然后给出每个目标的具体类别(目标分类)。输出结果是一个边界框(称为Bounding-box,一般形式为(x1,y1,x2,y2),表示框的左上角坐标和右下角坐标),一个置信度分数(Confidence Score),表示边界框中是否包含检测对象的概率和各个类别的概率(首先得到类别概率,经过Softmax可得到类别标签)。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类:Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段,主要用于生成潜在的目标候选框(Bounding-box proposals)。这个阶段通常使用卷积神经网络(CNN)从输入图像中提取特征,然后通过一些技巧(如选择性搜索)来生成候选框。第二个阶段是分类和位置精修阶段,将第一个阶段生成的候选框输入到另一个 CNN 中进行分类,并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高,缺点是速度相对较慢。 常见Tow stage目标检测算法有:R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值,并利用这些特征值进行目标的分类和定位,不需要生成Region Proposal。这种方法的优点是速度快,因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低,因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有:YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框,对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制,作用是从众多预测边界框中挑选出最具代表性的结果,这样可以加快算法效率,其主要流程如下: 设定一个置信度分数阈值,将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序,选中值最大的框 遍历其余的框,如果和当前框的重叠面积(IOU)大于设定的阈值(一般为0.7),就将框删除(超过设定阈值,认为两个框的里面的物体属于同一个类别) 从未处理的框中继续选一个置信度分数最大的,重复上述过程,直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度,当预测边界框和真实边界框差异很小时,或重叠度很大时,表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度,是评估目标检测模型效果的最重要指标,这个值介于0到1之间,且越大越好。mAP是AP(Average Precision)的平均值,那么首先需要了解AP的概念。想要了解AP的概念,还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值(Confidence Threshold)和IoU阈值(一般设置为0.5,也会衡量0.75以及0.9的mAP值): 当一个预测边界框被认为是True Positive(TP)时,需要同时满足下面三个条件: Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3,则认为是False Positive(FP)。当对应同一个真值有多个预测结果时,只有最高置信度分数的预测结果被认为是True Positive,其余被认为是False Positive。 Precision和Recall的概念如下图所示: Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值,可以获得多组Precision和Recall,Recall放X轴,Precision放Y轴,可以画出一个Precision-Recall曲线,简称P-R
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值