buffered, unbuffered, direct IO的区别

最新推荐文章于 2022-07-03 17:03:33 发布

codinghonor

最新推荐文章于 2022-07-03 17:03:33 发布

阅读量3.6k

点赞数

分类专栏： unix 文章标签： IO buffer

本文链接：https://blog.csdn.net/codinghonor/article/details/45272127

版权

1、buffered IO

buffered IO指的是在内核和用户程序之间设置了一层缓冲区，用来提高IO读写的效率；

当用户读取数据时，用户缓冲区已经将buffer读满，下次读时，可以直接从buffer中读，无需再经过内核和硬盘；

当用户写数据时，写入用户buffer区，定时将这段buffer的数据flush到硬盘上，减少向内核发送write命令的次数；

- 读取：硬盘--->内核缓冲区--->用户缓冲区--->用户程序
- 写回：用户程序--->用户缓冲区--->内核缓冲区--->硬盘

2、unbuffered IO

与buffered IO 的区别为没有用户缓冲区，需要注意的时，unbuffered I

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

codinghonor

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

unbuffered I/O. buffered I/O

SE_craftsman的专栏

04-07

1431

1. buffered I/O, 即标准I/O首先,要明确,unbuffered I/O只是相对于buffered I/O,即标准I/O来说的.而不是说unbuffered I/O读写磁盘时不用缓冲.实际上,内核是存在高速缓冲区来进行真正的磁盘读写的,不过这里要讨论的buffer跟内核中的缓冲区无关.buffered I/O的目的是什么呢?很简单,buffered I/O的目的就是为了提高效率.请

【linux系统编程】C标准I/O函数和系统无缓冲函数（Unbuffered I/O函数）关系

jyb_haha的专栏

07-24

1610

先接收一下，本文章主要内容： 1.C标准I/O函数和系统无缓冲函数（Unbuffered I/O函数）关系； 2.I\O函数:buffer && unbuffer；开始前，我们要清楚linux下C编程与WIN下C编程是不一样的，我们这片文章是linux下C编程，WIN下我并没有进行代码等相关测试。其次，我们来区分一下C标准I/O函数和C标准I/O函数这两个函数的概念： C标准I/O函

1 条评论您还未登录，请先登录后发表或查看评论

关于_IO_UNBUFFERED和_IO_LINE_BUF是未定义的相关问题

吴彦祖的博客

05-21

826

在复现APUE的p131页的代码时候，总是有报错，而报错相关的消息就是_IO_UNBUFFERED和_IO_LINE_BU这几个宏是未定义的我用的是Ubuntu系统 gcc version 9.3.0 (Ubuntu 9.3.0-17ubuntu1~20.04) 第一反应是是否没有加入相关头文件，但是Google了好久都发现这几个宏定义都均在<stdio.h>中，因此心态直接爆照！接着参阅了国外的一些网站上的，都没有这些问题的解决办法，但是半摸索着找到了两种解决办法，我都试了一遍发现都

direct io/buffer io

duxingxia356的专栏

12-11

1966

打个比方：正常情况下磁盘上有个文件，如何操作它呢？读取：硬盘->内核缓冲区->用户缓冲区写回：用户缓冲区->内核缓冲区->硬盘这里的内核缓冲区指的是page cache，说白了，也就是是DRAM。主要作用是它用于缓存文件内容，从而加快对磁盘上映像和数据的访问。正常的系统调用read/write的流程是怎样的呢？

buffer IO和direct IO

weixin_30245867的博客

01-15

311

最近在看很多框架，redis，kafka等底层都涉及到文件IO操作的效率问题，所以查了些资料，看到这篇文章讲的比较明白些，贴出来留存。链接地址： https://www.ibm.com/developerworks/cn/linux/l-cn-directio/ 转载于:https://www.cnblogs.com/restart30/p/10272619.html...

Direct IO 与 Buffer IO

jingemperor的博客

09-10

799

Direct IO 与 Buffer IO 1、Buffer I/O （1）描述数据在被写入的时候，默认使用的Buffer I/O。使用Buffer I/O的时候才在内存与磁盘中间加了一层page cache。数据在写入的时候，数据会被先写入page cache。如果用户采用的时同步写(synchronous write)，则数据会立即从page cache写回到磁盘中；如果使用的时延迟写(deferred writes)，那么应用程序就完全不需要等到数据全部被写回到磁盘，数据只要被写到页缓存中就可以了

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误的处理方法，适用于hadoop3.1.3

weixin_51273963的博客

07-03

5480

hadoop3.1.3、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Nativ、idea

理解磁盘访问I/O性能||IO Workload Profiles

漫步量化

05-05

1495

Overview 关于数据库的性能，对于column-oriented database，很多时候性能取决于计算机硬件的磁盘访问I/O性能。一、Workload Profiles Workload Profiles In the most generic sense, a workload profile describes the behavior of an application, or portion of an application with respect to how it p..

idea中Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Native

qq_56572867的博客

04-02

903

这个困扰了我三天的问题，之前已经不想解决了，直到再一次遇到，决定彻底干它，之前也在网上搜了一些解决它的办法，什么改变环境还有加入NativeIO，都没有用，不过最后还是使用了NativeIO的方法解决了，之前一直没有用的原因是，没有把文件放对位置正确的位置应该是放在java包下，和项目包并行，而且必须是这个包名org.apache.hadoop.io.nativeio和NativeIO这个类名，不然不能覆盖原来的这个类下面附上NativeIO的源码，有的包可能要自己引一下，细节上应该不用说了

MapReduce报错Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio

fengjinghong的博客

11-02

1408

参考文章：https://blog.csdn.net/weixin_42229056/article/details/82686172 报错信息如下： Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.Nativ

Unbuffered I/O

AlwaysBeCoding的专栏

10-27

1284

Unbuffered I/O在概念上是相对于Buffered I/O（标准I/O），他的读写函数read，write都会触发系统的内核调用。Unbuffered I/O并不是说不使用Cache机制，一般来说Unix系统都会在内核中使用Buffer Cache 或者 Page Cache。当我们使用write来写数据到磁盘文件时，这些数据一般会被copy到内核的cache中排列起来，在之后某个时刻写

浅谈Buffer I/O 和 Direct I/O

热门推荐

03-08

1万+

通常来说，文件I/O可以分为两种： Buffer I/O Direct I/O Buffer I/O 缓存 I/O 又被称作标准 I/O，大多数文件系统的默认 I/O 操作都是缓存 I/O。在 Linux 的缓存 I/O 机制中，这种访问文件的方式是通过两个系统调用实现的：read() 和 write()。调用read()时，如果操作系统内核地址空间的页缓存（ page cache ）有...

Linux编程—unbuffered IO—基本操作

Mythical_Man_Month的专栏

10-15

565

待完成，本来是想写进程间通信的，还是从基础的开始循序渐进的学习吧

操作系统Buffer I/O和Direct I/O

阳光大男孩！！！的博客

02-21

1507

前言 Buffer I/O和Direct I/O是操作系统中文件I/O的两种方式看这张图，不难看出Buffer IO和磁盘之间读取操作多了一层Page Cache和File System，这两个是干嘛的，以及mmp后面会明白。 Buffer I/O Buffer I/O基于read和write两个系统调用实现，在内核地址空间存在Page Cache（页缓存） read时，先去读页缓存，如果存在，则直接返回数据给应用程序。否则，去磁盘中查询 write时，先从应用程序地址空间把数据拷贝到Page Cac

Buffered缓冲IO流

Marblue_的博客

07-30

347

缓冲IO流：是处理流，负责在其他IO流基础上增加缓冲功能。提高效率 BufferedReader —> Reader BufferedWriter —> Writer BufferedInputStream —> InputStream BufferedOutputStream —> OutputStream BufferedReader除了继承了Reader的那些读的方法，还增加了一个：String readLine()读取一行 BufferedWriter除了继承了Wr

Linux 文件 I/O 进化史（一）：Buffered I/O

一口Linux的专栏

03-20

730

想找时间复习和总结一下 Linux 的文件 I/O 方式。大概想了，主要内容可以分成 4 个部分： Buffered I/O：传统的基于 page cache 的文件读写。 mmap：可以让应用像访问内存一样访问文件。 Direct I/O 和 AIO：绕过 page cache 的 I/O 方式，同时支持异步文件 I/O。 io_uring：Linux 5.1 才引进的全新异步 I/O 方式。本文是 Linux 文件 I/O 进化史系列的第一篇（后面的还没写，太久没发文章，先发出来充充数……）。

BufferedIO和DirectIO混用导致的脏页回写问题

好习惯成就伟大

05-25

650

原创文章，转载请注明：转载自系统技术非业余研究本文链接地址: BufferedIO和DirectIO混用导致的脏页回写问题今天曲山同学在线上问道：我测试发现，如果cp一个文件，然后direct io读这个文件，会消耗很长时间。我猜测dio不能用page cache，而这个文件cp以后都在cache里面，要强制刷到磁盘，才能读？我cp这个文件很大，超过256M由于数据文件默认是用bufferedi...

（java总结）Buffered IO缓冲区读取数据

weixin_45526489的博客

11-14

702

package Demo45; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.Properties; import java.util.Set; /** * java...

Buffered I/O and non-buffered I/O

zhoubo200的专栏

04-12

997

Buffered I/O and non-buffered I/O 转自：http://ender.hitidea.org/tag/o_direct/ 参考文献部分的内容是非常好的。这个选项在测试时是非常有用的。实验需要对Flash Disk做无系统缓冲的I/O操作，顺便了解了一下Linux下的I/O. Linux上的块设备的操作可以分为两类：第一类是使用C标准库

#define _IOFBF 0x100 /* fully buffered IO */ #define _IOLBF 0x200 /* line buffered IO */ #define _IONBF 0x400 /* unbuffered IO */含义