使用mmap实现一个文件输出函数

最新推荐文章于 2024-07-13 18:27:49 发布
最新推荐文章于 2024-07-13 18:27:49 发布
阅读量2.8k 收藏 6
点赞数 2
分类专栏： Linux 内存管理 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq973177663/article/details/51246267
版权

这是CSAPP上的一道作业题，编写一个C程序mmapcopy.c，使用mmap将一个任意大小的磁盘文件拷贝到stdout，输入文件的名字，必须作为一个命令行参数传入。

#include"csapp.h"

void mmapcopy(int fd,int fd1,int size){
	char *bufp;
	bufp =(char *)mmap(NULL,size,PROT_READ,MAP_PRIVATE,fd,0);//在进程空间中创建一个新的虚拟存储器区域，将磁盘文件映射到这个区域中
	write(1,bufp,size);//将信息写入标准输出
	//POSIX 定义了 STDIN_FILENO、STDOUT_FILENO 和 STDERR_FILENO 来代替 0、1、2。这三个符号常量的定义位于头文件 unistd.h。
//	write(fd1,bufp,size);//可向fd1中追加数据
        munmap(bufp,size);//删除虚拟存储器区域
//	write(1,bufp,size);//区域被删除了，可是再次引用的时候并没有导致段错误啊
	return;
}

int main(int argc,char **argv){
	struct stat _stat;  //文末附上关于这个结构体详细内容的链接
	int fd,fd1;
	if(argc != 2){
		printf("usage :%s <filename>",argv[0]);
		exit(0);
	}
	fd = open(argv[1],O_RDONLY,0);
        //fd1 = open(argv[2],O_RDWR|O_APPEND,0);  以“读写+追加”模式打开一个额外的文件，将在函数里尝试向它追加信息。

	fstat(fd,&_stat);  //fstat将文件标识符fd所标识的文件状态，复制到结构体stat中
	mmapcopy(fd,fd1,_stat.st_size);

	return 0;
}



Linux提供了内存映射函数mmap, 它把文件内容映射到一段内存上(准确说是虚拟内存上), 通过对这段内存的读取和修改, 实现对文件的读取和修改, 先来看一下mmap的函数声明:

  • 头文件:
    • <unistd.h>
    • <sys/mman.h>
  • 原型: void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offsize);
  • 返回值: 成功则返回映射区起始地址, 失败则返回MAP_FAILED(-1).
  • 参数:
    • addr: 指定映射的起始地址, 通常设为NULL, 由系统指定.
    • length: 将文件的多大长度映射到内存.
    • prot: 映射区的保护方式, 可以是:
      • PROT_EXEC: 映射区可被执行.
      • PROT_READ: 映射区可被读取.
      • PROT_WRITE: 映射区可被写入.
      • PROT_NONE: 映射区不能存取.
    • flags: 映射区的特性, 可以是:
      • MAP_SHARED: 对映射区域的写入数据会复制回文件, 且允许其他映射该文件的进程共享.
      • MAP_PRIVATE: 对映射区域的写入操作会产生一个映射的复制(copy-on-write), 对此区域所做的修改不会写回原文件.（写时拷贝）
      • 此外还有其他几个flags不很常用, 具体查看linux C函数说明.
    • fd: 由open返回的文件描述符, 代表要映射的文件.
    • offset: 以文件开始处的偏移量, 必须是分页大小的整数倍, 通常为0, 表示从文件头开始映射.

    下面说一下内存映射的步骤:

  • 用open系统调用打开文件, 并返回描述符fd.
  • 用mmap建立内存映射, 并返回映射首地址指针start.
  • 对映射(文件)进行各种操作, 显示(printf), 修改(sprintf).
  • 用munmap(void *start, size_t lenght)关闭内存映射.
  • 用close系统调用关闭文件fd.

注意事项:

在修改映射的文件时, 只能在原长度上修改, 不能增加文件长度, 因为内存是已经分配好的.


还用到了一些函数，例如open， fstat ， write 等，下面详解其功能

1. open（）函数
功能描述：用于打开或创建文件，在打开或创建文件时可以指定文件的属性及用户的权限等各种参数。
所需头文件:
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
函数原型:int open(const char *pathname,int flags,int perms)
参数：
pathname:被打开的文件名（可包括路径名如"dev/ttyS0"）
flags:文件打开方式,
O_RDONLY:以只读方式打开文件
O_WRONLY:以只写方式打开文件
O_RDWR:以读写方式打开文件
O_CREAT:如果改文件不存在，就创建一个新的文件，并用第三个参数为其设置权限
O_EXCL:如果使用O_CREAT时文件存在，则返回错误消息。这一参数可测试文件是否存在。此时open是原子操作，防止多个进程同时创建同一个文件
O_NOCTTY:使用本参数时，若文件为终端，那么该终端不会成为调用open()的那个进程的控制终端
O_TRUNC:若文件已经存在，那么会删除文件中的全部原有数据，并且设置文件大小为0
O_APPEND:以添加方式打开文件，在打开文件的同时，文件指针指向文件的末尾，即将写入的数据添加到文件的末尾
O_NONBLOCK: 如果pathname指的是一个FIFO、一个块特殊文件或一个字符特殊文件，则此选择项为此文件的本次打开操作和后续的I/O操作设置非阻塞方式。
O_SYNC:使每次write都等到物理I/O操作完成。
O_RSYNC:read 等待所有写入同一区域的写操作完成后再进行
在open()函数中，falgs参数可以通过“|”组合构成，但前3个标准常量（O_RDONLY，O_WRONLY，和O_RDWR）不能互相组合。
perms:被打开文件的存取权限，可以用两种方法表示，可以用一组宏定义：S_I(R/W/X)(USR/GRP/OTH),其中R/W/X表示读写执行权限，
USR/GRP/OTH分别表示文件的所有者/文件所属组/其他用户,如S_IRUUR|S_IWUUR|S_IXUUR,（-rex------）,也可用八进制800表示同样的权限
返回值：
成功：返回文件描述符
失败：返回-1
 
2. close（）函数
功能描述：用于关闭一个被打开的的文件
所需头文件： #include <unistd.h>
函数原型:int close(int fd)
参数：fd文件描述符
函数返回值：0成功，-1出错
 
 
3. read（）函数
功能描述： 从文件读取数据。
所需头文件： #include <unistd.h>
函数原型：ssize_t read(int fd, void *buf, size_t count);
参数：  
fd： 将要读取数据的文件描述词。
buf：指缓冲区，即读取的数据会被放到这个缓冲区中去。
count： 表示调用一次read操作，应该读多少数量的字符。
返回值：返回所读取的字节数；0（读到EOF）；-1（出错）。
以下几种情况会导致读取到的字节数小于 count ：
    A. 读取普通文件时，读到文件末尾还不够 count 字节。例如：如果文件只有 30 字节，而我们想读取 100
字节，那么实际读到的只有 30 字节，read 函数返回 30 。此时再使用 read 函数作用于这个文件会导致 read 返回 0 。
    B. 从终端设备（terminal device）读取时，一般情况下每次只能读取一行。
    C. 从网络读取时，网络缓存可能导致读取的字节数小于 count字节。
    D. 读取 pipe 或者 FIFO 时，pipe 或 FIFO 里的字节数可能小于 count 。
    E. 从面向记录（record-oriented）的设备读取时，某些面向记录的设备（如磁带）每次最多只能返回一个记录。
    F. 在读取了部分数据时被信号中断。
读操作始于 cfo 。在成功返回之前，cfo 增加，增量为实际读取到的字节数。
 
4. write（）函数
功能描述： 向文件写入数据。
所需头文件： #include <unistd.h>
函数原型：ssize_t write(int fd, void *buf, size_t count);
返回值：写入文件的字节数（成功）；-1（出错）
功能：write 函数向 filedes 中写入 count 字节数据，数据来源为 buf 。返回值一般总是等于 count，否则就是出错了。常见的出错原因是磁盘空间满了或者超过了文件大小限制。
对于普通文件，写操作始于 cfo 。如果打开文件时使用了 O_APPEND，则每次写操作都将数据写入文件末尾。成功写入后，cfo 增加，增量为实际写入的字节数。


5.fstat

fstat（由文件描述词取得文件状态），
相关函数 stat，lstat，chmod，chown，readlink，utime
表头文件 #include<sys/stat.h>
#include<unistd.h>
定义函数 int fstat(int fildes,struct stat *buf);
函数说明 fstat()用来将参数fildes所指的文件状态，复制到参数buf所指的 结构中(struct stat)。Fstat()与stat()作用完全相同，不同处在 于传入的参数为已打开的文件描述词。详细内容请参考stat()。
返回值 执行成功则返回0，失败返回-1，错误代码存于errno。


有关struct stat结构体的简介，附上链接：
http://www.cnblogs.com/CSU-PL/archive/2013/06/06/3120757.html





resist_o
关注
专栏目录
mmap函数_mmap虚存区映射及读写性能探究西邮本科生实验视频分享
weixin_39643244的博客
12-04 546
视频链接：https://v.qq.com/x/page/c0963p6x4f3.htmlmmap使用与性能优化什么是mmap？ mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。特点：实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，即完成了对文件的操作而不必再调用re...
linux下通过共享内存和mmap实现进程间通讯
JavaMonsterr的博客
06-05 476
最近在学习GNU/Linux内核，看到mmap的时候书上说：这句话说的很正确，虽然我们日常没有直接使用mmap，但是其实我们都间接地使用了mmap/mumap函数。举个例子，我们使用动态链接库的时候，我们都知道，动态链接不会把动态库中的代码整合到目标文件中，相反，动态库跟目标文件独立。那为什么运行时，程序能够获得指定的符号链接？这正是mmap的力量，程序运行时，他将保存在物理内存的动态库的内容（如果物理内存中没有，则先加载如内存）映射到自身的进程地址空间，这样符号所对应的指令数据便存在了。mmap将一个文件
mmap
岁月留痕
03-24 3315
mmap可以把磁盘文件的一部分直接映射到内存，这样文件中的位置直接就有对应的内存地址，对文件的读写可以直接用指针来做而不需要read/write函数。#include void *mmap(void *addr, size_t len, int prot, int flag, int filedes, off_t off); int munmap(void *addr, size_t len);该函数各参数的作用图示如下：图 28.4. mmap函数如果addr参数为NULL，内核会自己在进程
Linux:大文件的读写：mmap
最新发布
weixin_68925552的博客
07-13 813
由于磁盘IO的读写性能相较于内存的读写性能要慢很多，如何提高磁盘IO 的性能是比较关键的，本文简单的实现了对于单个磁盘大文件IO的读写采用的mmap和多进程的方式，实现大小2G的文件，在5-6s的时间内完成读写操作，如果想要读取众多的大文件，可以结合前面的博文io_uring进行实现。
mmap函数使用实例
weixin_41580386的博客
03-02 473
新建一个文件，里边内容为hello，通过mmap映射该文件后，修改hello为Hello，然后解除映射 #include <func.h> int main(int argc,char*argv[]) { ARGS_CHECK(argc,2); int fd=open(argv[1],O_RDWR|O_CREAT,775); ERROR_CHECK(fd,-1,"open"); char buf[1024]={0}; int ret=read(fd
Linux系统编程——基于文件描述符的文件操作(2)
weixin_30648587的博客
04-13 274
文件描述符的复制 MMAP文件映射 ftruncate修改文件大小 文件描述符的复制 ​ 系统调用函数dup和dup2可以实现文件描述符的复制，经常用来重定向进程的stdin(0), stdout(1), stderr(2)。 ​ dup返回新的文件描述符（没有使用的文件描述符的最小编号）。这个新的描述符是旧文件描述符 的拷贝。这意味着两个描述符共享同一个数据结构。 ​ dup2允许调用者用一...
mmap详解
weixin_42136255的博客
09-13 1371
想写一篇文章，详细的介绍一下mmap，主要是原理、用法、mmap泄露来进行介绍。说到mmap，首先得从堆空间说起。
mmap再次映射文件时获取实际大小
一二说
04-17 431
背景 正在完善的安卓日志工具，输出日志文件采用mmap方式输出，参考的biaoShow/TestDemoKotlin，映射不存在文件的时候没有问题。当原本存在一个文件，由于mmap要求4096整数倍为一页，文件大小原本上次映射时就有了一页大，但里面内容才几个字符，后面通过常规方式读取文件大小出来就是那个4096整数倍了，虽然也能追加写日志，但这样下去就浪费了太多空间。 解决思路 映射前先读取文件内容一次，读取失败就是不存在，成功就获取到了一个字符串，这个字符串长度就是实际内容大小。 　　至于获取文件大小，s
php与c 实现按行读取文件实例代码
10-20
为了在输出时去除这个换行符，我们可以通过修改缓冲区的最后一个字符（`buf[len - 1] = '\0';`）将其替换为字符串结束符`\0`。 这两种方法都是按行读取文件的有效方式，适用于处理大量数据时需要逐行处理的情况。...
mmap munmap msync 函数
ltx_69的博客
05-24 1262
Linux的mmap系统调用（libc封装了同名函数）可以分配一段匿名的虚拟内存区域，也可以映射一个文件到内存。 mmap()必须以PAGE_SIZE为单位进行映射，而内存也只能以页为单位进行映射，若要映射非PAGE_SIZE整数倍的地址范围，要先进行内存对齐，强行以PAGE_SIZE的倍数大小进行映射。 mmap操作提供了一种机制，让用户程序直接访问设备内存，这种机制，相比较在用户空间和内核空间互相拷贝数据，效率更高。在要求高性能的应用中比较常用。 面向流的设备不能进行mmap，mmap的实现和硬...
mmap的使用
weixin_42715287的博客
05-22 1061
参考资料 mmap 函数：原理与使用(含代码) mmap函数使用与实例详解 Linux系统编程：mmap使用技巧 mmap和普通文件读写的区别和比较 & mmap的注意点 认真分析mmap：是什么 为什么 怎么用 github源码
认真分析mmap：是什么 为什么 怎么用
qingkongyeyue的博客
11-16 690
转自http://www.cnblogs.com/huxiao-tee/p/4660352.html 阅读目录 mmap基础概念mmap内存映射原理mmap和常规文件操作的区别mmap优点总结mmap相关函数mmap使用细节 mmap基础概念 mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一
mmap函数使用说明以及示例
weixin_43698578的博客
07-29 1412
使用 mmap 时务必注意以下事项： 1.创建映射区的过程中，隐含着一次对映射文件的读操作。 2. 当 MAP_SHARED 时，要求：映射区的权限应 <= 文件打开的权限(出于对映射区的保护)。而 MAP_PRIVATE 则无所谓，因为 mmap 中的权限是对内存的限制。 3. 映射区的释放与文件关闭无关。只要映射建立成功，文件可以立即关闭。 4. 特别注意，当映射文件大小为 0 时，不能创建映射区。所以：用于映射的文件必须要有实际大小！！ mmap 使用时常常会出现总线错误，通常是由于共享文件
mmap函数分析使用实例
学习记录笔记
12-17 614
mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。 gcc man中的描述 mmap() creates a new mapping in the virtual address space of the call‐ing process. The starting
mmap函数文件映射
yinyinyinyinyi的博客
08-30 386
mmap函数文件映射 （学习篇） mmap()：用来将某个文件内容映射到内存中，对该内存区域的存取即是直接对该文件内容的读写。这样可以加快文件访问速度。 返回值：成功返回映射的内存的起始地址。 错误返回（void*）-1 目的：将一个文件拷贝到另一个文件， 过程：打开两个文件，原文件以只读打开，目标文件以只写/如不存在则创建，将目标文件用 truncate函数撑大，两个文件分别用mmap函数映射，...
linux mmap映射原理,内核函数mmap(文件映射)的实现原理，机制
weixin_42349272的博客
05-13 443
内核函数mmap的实现原理，机制首先，文件映射是虚存的中心概念,文件映射一方面给用户提供了一组措施,好似用户将文件映射到自己地址空间的某个部分,使用简单的内存访问指令读写文件；另一方面,它也可以用于内核的基本组织模式,在这种模式种,内核将整个地址空间视为诸如文件之类的一组不同对象的映射.中的传统文件访问方式是,首先用open系统调用打开文件,然后使用read,write以及ls...
linux mmap详解
liuwg1226的专栏
07-14 940
mmap基础概念 mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示： 由上图可以看出，进程的虚拟地址空间，由多个虚拟内存区域构成。虚拟内存
结合CSAPP两个习题说明mmap使用方法
Donald Su
07-05 785
从【man mmap】中可以看到该函数的定义。 习题9.14：从文件中读取，然后写入。 #include <iostream> #include <fcntl.h> #include <unistd.h> #include <sys/mman.h> using namespace std; int main(int argc, char* argv[]) { int fd = open(argv[1], O_RDWR); // s
mmap 基本使用
CSDNNETVIP的博客
06-06 9942
​ mmap主要用来做内存映射的，可以将虚拟内存和磁盘上的文件直接映射。正常来说我们在写文件读文件的时候是需要使用系统调用api来进行，比如说read/write，这两个系统调用读写文件的方式是需要进行两次拷贝的，从用户空间拷贝到内核空间，然后从内核空间再拷贝到磁盘，而mmap将文件的地址直接映射到虚拟内存，这样，我们直接往这个地址读/写内容，可以像操作malloc申请出来的空间地址一样，写到这个地址，内容就直接在文件中了，减少了一次拷贝，提高了效率。这样一个公共的内存区域，也可以用来进程间
mmap函数的简单示例
05-29
下面是一个简单的 mmap() 函数的示例，用于将文件的前10个字节映射到内存中： ```c #include <stdio.h> #include <unistd.h> #include <sys/mman.h> #include <fcntl.h> int main() { char *addr; int fd = open("test.txt", O_RDONLY); // 打开文件，只读模式 if (fd == -1) { perror("open"); return -1; } addr = mmap(NULL, 10, PROT_READ, MAP_PRIVATE, fd, 0); // 将文件的前10个字节映射到内存中 if (addr == MAP_FAILED) { perror("mmap"); return -1; } close(fd); // 关闭文件 printf("The first 10 bytes of the file:\n"); for (int i = 0; i < 10; i++) { printf("%c", *(addr + i)); // 输出映射到内存中的内容 } munmap(addr, 10); // 解除映射 return 0; } ``` 上述示例中，我们首先打开了一个文件，然后调用 mmap() 函数将文件的前10个字节映射到内存中，并将映射得到的内存起始地址赋值给指针变量 addr。接着，我们输出了映射到内存中的内容，并最后调用 munmap() 函数解除映射。需要注意的是，在使用 mmap() 函数映射文件时，需要在打开文件时指定文件打开方式。例如，上述示例中我们指定了 O_RDONLY，代表以只读模式打开文件。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值