0708，文件流，目录流，MMAP内存映射

最新推荐文章于 2024-10-16 19:49:42 发布
最新推荐文章于 2024-10-16 19:49:42 发布
阅读量528 收藏 4
点赞数 13
分类专栏： 我爱学习 文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51583806/article/details/142342666
版权

目录

目录相关操作

目录流及相关操作

文件描述符和相关操作

fopen()和open()的关系

内存映射mmap

mmap相关函数

01_chdir.c

02_mkdir.c

03_rewinddir.c

04_ftruncate.c

05_mmap.c

目录相关操作

#include <unistd.h>
#include <sys/stat.h>
#include <sys/types.h>

char *getcwd(char *buf, size_t size);
int chdir(const char *path);
int mkdir(const char *pathname, mode_t mode);
int rmdir(const char *pathname);  

/*
//getcwd   如果 char* buff=NULL,getcwd会调用malloc,但是不负责free
//chdir    当前工作目录是进程的属性，也就是说每一个进程都有自己的当前工作目录。且父进程创建 
           (fork)子进程的时候，子进程会继承父进程的当前工作目录
//mkdir    mode: 目录的权限位，会受文件创建掩码umask的影响，实际的权限为(mode & ~umask& 
           0777)
//rmdir    *pathname要删除的目录（空）

目录流及相关操作

#include <sys/types.h>
#include <dirent.h>

DIR* opendir(const char *name);      //可以打开一个目录，得到一个指向目录流的指针 DIR*
int closedir(DIR *dirp);
struct dirent* readdir(DIR *dirp);   //读目录流，得到指向下一个目录项的指针/NULL
void seekdir(DIR *dirp, long loc);   //移动 loc位置，是前面调用telldir函数的返回值。
long telldir(DIR *dirp);             //返回目录流中现在的位置
void rewinddir(DIR *dirp)；          //重置目录流，即移动到目录流的起始位置
The  readdir()  function returns a pointer to a dirent structure representing the next directory entry in  the  directory  stream pointed  to by dirp. 

struct dirent {
    ino_t          d_ino;       /* Inode number */
    off_t          d_off;       /* Not an offset; see below */
    unsigned short d_reclen;    /* Length of this record 数组长度*/
    unsigned char  d_type;      /* Type of file; not supported 文件类型
                                  by all filesystem types */
    char           d_name[256]; /* Null-terminated filename 文件名/实现上可变数组*/
};

//d_type的可选值
              DT_BLK      This is a block device.
              DT_CHR      This is a character device.
              DT_DIR      This is a directory.
              DT_FIFO     This is a named pipe (FIFO).
              DT_LNK      This is a symbolic link.
              DT_REG      This is a regular file.
              DT_SOCK     This is a UNIX domain socket.
              DT_UNKNOWN  The file type could not be determined.

文件描述符和相关操作

//文件描述符是一种整数，用于标识被打开的文件。在操作系统层面，文件描述符是一个抽象的句柄，它指向操作系统内核中与文件相关的数据结构。

 kernel space
//process table     //open file table     //vnode table
  进程控制块PCB        进程之间共享

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);//flag==O_CREAT --> mode
int close(int fd);
ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);
off_t lseek(int fd, off_t offset, int whence);         //移动文件位置

int fsync(int fd);                    //把内核中和文件描述符 fd 相关的脏页刷新到磁盘
int ftruncate(int fd, off_t length);  //将文件截断为指定长度 length/after
int fstat(int fd, struct stat *statbuf);  //获取文件的元数据信息  stat
int dup(int oldfd);                       //copy fd,return new_fd(min)
int dup2(int oldfd, int newfd);           //会自动close(oldfd)


//open    成功：新的文件描述符(最小可用的文件描述符)
//read    返回实际读取的字节数目(0表示读到了文件的末尾)，并且文件位置会向前移动这么多个字节
//write   返回实际写入的字节数目
//lseek   return 移动后文件位置   whence(SEEK_SET,SEEK_CUR,SEEK_END)

//flag 标志位

O_RDONLY  只读
O_WRONLY  只写
O_RDWR    可读/可写
O_CREAT   如果文件不存在，则创建文件
O_EXCL    和 O_CREAT 连用，如果文件存在， open() 会失败
O_TRUNC   如果文件存在，则将文件长度截断为 0 (清空文件内容)
O_APPEND  追加模式，即每次调用 write() 的时候，都会将文件位置移动到文件的末尾

其中 O_RDONLY 、 O_WRONLY 、 O_RDWR 又被称为访问模式 (access modes)，我们有且只能选择其中一个。如果 flags 中有设置 O_CREAT 标志位，那么就需要设置第三个参数，用来指定创建文件的权限。
mode : 用来指定文件的权限，会受 umask 的影响，实际权限为 (mode & ~umask) 。
//statbuf

struct stat {
	dev_t st_dev; /* ID of device containing file */
	ino_t st_ino; /* Inode number */
	mode_t st_mode; /* File type and mode */
	nlink_t st_nlink; /* Number of hard links */
	uid_t st_uid; /* User ID of owner */
	gid_t st_gid; /* Group ID of owner */
	dev_t st_rdev; /* Device ID (if special file) */
	off_t st_size; /* Total size, in bytes */
	blksize_t st_blksize; /* Block size for filesystem I/O */
	blkcnt_t st_blocks; /* Number of 512B blocks allocated */
    
	/* Since Linux 2.6, the kernel supports nanosecond
	precision for the following timestamp fields.
	For the details before Linux 2.6, see NOTES. */
    
	struct timespec st_atim; /* Time of last access */
	struct timespec st_mtim; /* Time of last modification */
	struct timespec st_ctim; /* Time of last status change */
    
	#define st_atime st_atim.tv_sec /* Backward compatibility */
	#define st_mtime st_mtim.tv_sec
	#define st_ctime st_ctim.tv_sec
};

fopen()和open()的关系

open() 是系统调用， fopen() 是库函数。库函数是系统调用的封装。 fopen() 的底层是调用open() 实现的，它们之间有一个很好的对应关系。
    
fopen()mode         open() flags
r                   O_RDONLY
w                   O_WRONLY | O_CREAT | O_TRUNC
a                   O_WRONLY | O_CREAT | O_APPEND
r+                  O_RDWR
w+                  O_RDWR | O_CREAT | O_TRUNC
a+                  O_RDWR | O_CREAT | O_APPEND
    
/*
文件流        用户空间（buff + 用户态缓冲区）  -->  内核空间  -->  磁盘
文件描述符    用户空间（buff）                -->  内核空间  -->  磁盘
//文件流：多复制一次，用户态缓冲区读写数据不需要切换上下文（适合处理文本数据，字符/行
//描述符：少复制一次，读写数据需要切换上下文（适合复制文件

内存映射mmap

//内存映射可以将文件内容直接映射到进程的虚拟地址空间。当进程访问映射区域时，操作系统会负责将相应的文件部分加载到内存中。这种机制利用了操作系统的页面管理技术，可以高效地管理内存和文件I/O

传统的文件 I/O 操作通常涉及多个步骤：

用户空间请求数据
内核从磁盘读取数据到内核空间
数据再从内核空间复制到用户空间

//kernal --> argv,environ --> stack --> unallocated memory --> heap  --> ```
                                         内存映射区（部分）
//MAP_PRIVATE:
逻辑上，每个进程都有自己的一份映射 (copy-on-write, 写时复制)。对映射区域的修改，其它进程是不可见的，修改不会同步到底层文件中
用途是用一个文件的内容来初始化一块内存区域。常见的例子有：加载可执行文件或共享库文件的相应部分来初始化一个进程的代码段和数据段
    
//MAP_SHARED:
多个进程共享同一个映射区域。一个进程对映射区域的修改，其它进程是可见的，修改会同步到底层的文件中
用途：1. 它允许内存映射 I/O，这是一种零拷贝技术，适用于处理大文件。2. 因为多个进程共享同一片内存区域，所以它也可以用于进程间通信(Interprocess Communication, IPC)

mmap相关函数

#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
int munmap(void *addr, size_t length);
void* memcpy(void* dest, const void* src, size_t n); //在内存中复制指定数量的字节

/*mmap
void* ->映射区域起始地址
起始地址NULL/OR  
//大小（向上取整下一个页大小的整倍数   //保护位prot/PROT_NONE  offset偏移量/页大小整数倍
PROT_NONE  映射区域不能被访问
PROT_READ  映射区域可读
PROT_WRITE 映射区域可写
PROT_EXEC  映射区域可执行

01_chdir.c

#include <stdio.h>
#include <unistd.h>
#include <error.h>
#include <errno.h>
#include <sys/stat.h>

#define SIZE(A) (sizeof(A)/sizeof(0))

int main(int argc, char* argv[]) {
    // ./chdir dir
    if(argc!=2){
        error(1,errno,"Usage:%s dir mode",argv[0]);
    }

    char buf[256];
    getcwd(buf, SIZE(buf)); // 获取当前工作目录
    puts(buf); // 打印当前工作目录

    int ret=chdir(argv[1]);
    if(ret==-1){
        error(1,errno,"mkdir %s ",argv[1]);
    }

    getcwd(buf, SIZE(buf));
    puts(buf); // 再一次打印当前工作目录，观察一下是否发生了变化


    return 0;
}

02_mkdir.c

#include <stdio.h>
#include <unistd.h>
#include <error.h>
#include <errno.h>
#include <sys/stat.h>

int main(int argc,char *argv[])
{
    // ./t_mkfir dir mode
    if(argc!=3){
        error(1,errno,"Usage:%s dir mode",argv[0]);
    }
    mode_t mode;
    sscanf(argv[2],"%o",&mode);
    //标准输入输出，char* --> mode_t
    
    if(mkdir(argv[1],mode)==-1){
        error(1,errno,"mkdir %s ",argv[1]);
    }

    return 0;
}

03_rewinddir.c

#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <dirent.h>
#include <errno.h>
#include <error.h>
#include <string.h>

int main(int argc,char** argv)
{
    DIR* pdir=opendir(".");
    if(!pdir){error(1,errno,"opendir");}

    long loc=telldir(pdir); //返回目录流中现在的位置
    struct dirent* pdirent;
    errno=0;

    while(1){
        long tmploc=telldir(pdir);
        pdirent=readdir(pdir);
        if(!pdirent){break;}
        //如果读取失败（没有下一个目录项）跳出循环

        printf("%s ",pdirent->d_name);
        if(strcmp(pdirent->d_name,"03")==0){
            loc=tmploc;
        }
        printf("\n");

        if(errno!=0){error(1,errno,"readdir");}

    }
    
    printf("----------------------------\n");
    seekdir(pdir,loc);//移动loc位置
    pdirent=readdir(pdir);//如果不移动，此时pdirent是NULLL
    puts(pdirent->d_name);
    printf("----------------------------\n");
    rewinddir(pdir);
    pdirent=readdir(pdir);
    puts(pdirent->d_name);

    closedir(pdir);

    return 0;
}

04_ftruncate.c

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <dirent.h>
#include <errno.h>
#include <error.h>
#include <string.h>
#include <fcntl.h>

int main(int argc,char** argv)
{
    //./04 file length
    if(argc!=3){
        error(1,errno,"Usage:%s file length",argv[0]);
    }

    off_t length;
    sscanf(argv[2],"%ld",&length);

    int fd=open(argv[1],O_WRONLY);
    if(fd==-1){error(1,errno,argv[1]);}

    if(ftruncate(fd,length)==-1){
        error(1,errno,"ftruncate %d",ftruncate);
    }
    return 0;
}

05_mmap.c

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <sys/mman.h>
#include <dirent.h>
#include <errno.h>
#include <error.h>
#include <string.h>
#include <fcntl.h>

#define MMAP_SIZE (4096*10)

int main(int argc,char** argv)
{

    //./05 file1 file2
    if(argc!=3){
        error(1,0,"Usage:%s file1 file2",argv[0]);
    }

    int file1=open(argv[1],O_RDONLY);
    if(file1==-1){error(1,errno,"open file1");}

    int file2=open(argv[2],O_RDWR,O_CREAT,O_TRUNC,0666);
    if(file2==-1){error(1,errno,"open file2");}
    //读写打开，截断为0

    struct stat sb;
    fstat(file1,&sb);//获取文件的元数据信息
    off_t fsize=sb.st_size;
    ftruncate(file2,fsize);//file2 size

    off_t offset=0;
    while(offset<fsize){
        //计算映射区长度(分页映射)
        off_t length;
        if(fsize-offset>=MMAP_SIZE){
            length=MMAP_SIZE;
        }else{
            length=fsize-offset;
        }
        
        printf("%ld\n",offset);
        void* addr1=mmap(NULL,length,PROT_READ,MAP_SHARED,
                         file1,offset);
        if(addr1==MAP_FAILED){error(1,errno,"mmap %s",argv[1]);}

        void* addr2=mmap(NULL,length,PROT_READ|PROT_WRITE,
                        MAP_SHARED,file2,offset);
        if(addr2==MAP_FAILED){error(1,errno,"mmap %s",argv[2]);}

        memcpy(addr2,addr1,length);
        offset+=length;

        int err=munmap(addr1,length);
        if(err){error(1,errno,"munmap");}
        err=munmap(addr2,length);
        if(err){error(1,errno,"munmap2");}

        close(file1);
        close(file2);

    }



    return 0;
}

qq_51583806 彩雷王
关注
专栏目录
Python3 mmap内存映射文件示例解析
09-17
Python3的mmap模块提供了内存映射文件的功能，这是一种高效的数据访问方式，允许程序通过操作系统虚拟内存直接与文件系统交互，而无需传统的I/O操作。内存映射文件减少了系统调用次数，避免了数据在内核空间和用户...
MMA安装及使用优化
Player_001的博客
08-02 1169
公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。
shiyong_mmap.rar_camera mmap_内存映射
09-22
内存映射（mmap）是一种在操作系统中将文件或设备直接映射到进程虚拟地址空间的技术，使得程序可以直接通过内存访问文件，而无需通过传统的I/O系统调用。这种技术在处理大文件，尤其是像摄像头数据这样的连续流式...
Python内存映射文件读写方式
09-17
接下来，我们需要使用`os.open()`方法以特定的模式（例如读写模式`os.O_RDWR`）打开文件，然后使用`mmap.mmap()`方法创建一个内存映射对象。 ```python fd = os.open(filename, os.O_RDWR) m = mmap.mmap(fd, 50, ...
内存映射修改大文件_内存映射_MemoryFile_超大文件读写_
10-03
内存映射（Memory Mapping）是一种高效处理大文件的技术，它允许程序通过操作系统将磁盘上的文件映射到进程的虚拟地址空间中，从而实现对文件的读写操作如同操作内存一样简便快速。这种方式大大提升了超大文件的读写...
Linux 命令：每日一学，一文说尽打包压缩工具实践
WeiyiGeek 唯一极客IT知识分享
10-12 772
[知识是人生的灯塔，只有不断学习，才能照亮前行的道路]文章目录：0x00 前言简述前面，我们介绍了Linux中文件查找find命令以及与之联用最勤的xargs命令，作者以一个个简单的实例给各位看友展示了在运维中两个命令的使用技巧，今天我们再来介绍一些打包、压缩解压等相关命令。在 Linux 系统中，我们经常需要使用到压缩和解压文件，使用压缩文件可以减少文件大小，从而减少存储空间，以及在网络传输...
【Linux】解读信号的本质＆相关函数及指令的介绍
YYDsis的博客
10-14 744
一.信号的本质与相关概念1.体现中断的例子：.系统定义的信号列表1.用kill -l命令可以察看系统定义的信号列表2.（ps＆kill＆raise＆abort）进程指令＆信号相关函数【总结】【1】ps指令【2】kill＆raise函数介绍与演示【3】abort函数介绍与演示三.产生信号的四种方式1.通过终端按键产生信号（Core Dump）2.调用系统函数向进程发信号3.由软件条件产生信号4.硬件异常产生信号
【Linux】ioctl分析
目标：MVP
10-14 1074
一个字符设备驱动通常会实现常规的openreleaseread和write接口，但是如果需要扩展新的功能，通常以ioctl接口的方式实现。fill:#333;user spacevfsdriverioctl()ulocked_ioctl()或compat_ioctl()user spacevfsdriver。
Linux动静态库
2301_76197086的博客
10-13 1109
详解Linux系统中的动静态库生成和使用，以及可执行程序运行时与动态库进行动态链接的原理
linux手册翻译 nm
sunqin的博客
10-13 981
nm - 从目标文件中列出符号。
《鸟哥的Linux私房菜基础篇》---1 Linux的介绍与如何开启Linux之路
bigger_belief的博客
10-12 823
主要讲解Linux基本属性和如何开启Linux之路
PetaLinux工程的常用命令——petalinux-build
Tesseract_9527的博客
10-15 543
petalinux-build：编译项目或指定组件。
Linux C接口编程入门之ioctl操作
2301_76587520的博客
10-16 328
Linux C接口编程入门之ioctl操作
linux svn命令简单使用
nuanmin的博客
10-15 303
【代码】linux svn命令简单使用。
Linux下内核空间和用户空间内存映射图详解
Luckiers的博客
10-15 946
本文主要介绍内核和用户空间的物理地址到虚拟地址的映射，通过详细图解方便读者快速掌握。内核空间定义内核空间是操作系统内核运行的区域，它包括了操作系统内核代码、数据结构和设备驱动程序等。内核空间通常是操作系统中的一块保护内存区域，只有操作系统内核才能够访问这个区域。用户空间定义用户空间是指用户应用程序运行的区域，包括用户应用程序代码、数据和堆栈等。内核空间、用户空间的具体划分：针对 Linux 操作系统而言，最高的 1G 字节由内核使用，称为内核空间。而较低的 3G 字节由各个进程使用，称为用户空间。
十、Linux 之定时任务调度
八戒媳妇
10-14 802
任务调度：是指系统在某个时间执行的特定的命令或程序。任务调度分类：1.系统工作：有些重要的工作必须周而复始地执行。如病毒扫描等个别用户工作：个别用户可能希望执行某些程序，比如对 mysql 数据库的备份。示意图基本语法：crontab [ 选项 ]常用选项说明-e编辑crontab定时任务-l查询crontab任务-r删除当前用户所有的crontab任务- at 命令是一次性定时计划任务，at 的守护进程 atd 会以后台模式运行，检查作业队列来运行。
【DBA Part01】国产Linux上安装Oracle进行数据迁移
最新发布
风哥oracle/mysql/pg技术教程
10-16 353
某单位原有两套核心业务fgedu wx: itpux-com，运行在RHEL/OEL Linux操作系统上，后台数据库采用Oracle11gR2，现在因单位要求，需要将这两套数据库分别迁移到新主机的国产麒麟操作系统之上。1.4.Oracle11gR2迁移到国产麒麟操作系统（单机/RAC）（*）国产麒麟静默安装Oracle11gR2 RAC数据库软件。（*）Oracle11gR2迁移到国产麒麟操作系统（RAC）（*）Oracle11gR2迁移到国产麒麟操作系统（单机）
＜Linux＞ 线程池
prodigy623的博客
10-14 869
池化技术，线程池
kali linux 允许 root 用户登录 安装过程中不能创建 root 根用户密码 之后不能以根用户直接登录 即使是正确的管理员密码也无法登录
2401_82477582的博客
10-12 333
打开终端。输入命令并按回车键。系统会提示您输入新的 UNIX 密码，输入您想要设置的密码并按回车键。再次输入相同的密码进行确认。如果密码设置成功，会显示 “passwd: password updated successfully”。在登录界面，选择 “Other” 选项，然后输入用户名 “root” 和您设置的密码，即可登录为 root 用户。如果还是不行，可能要关闭root登录的守护进程不建议随意关闭 root 登录的相关安全设置，因为这可能会降低系统的安全性。
Linux内存映射mmap机制与共享内存解析
"本文详细介绍了Linux的mmap文件内存映射机制，这是一种允许进程像访问内存一样操作文件的技术，提高了效率并支持共享内存。mmap系统调用是虚存系统的核心，通过创建内存管理数据结构，当进程访问映射的页面时，若...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值