文件系统写入100G文件需要多久

这里面的

1、文件大小(SIZE):119000152(单位字节);

2、块(Blocks ):232424(通常的 Linux一个块大小为 512 字节,也就是一个扇区的大小)

文件系统 ,简单理解就是来存数据的一个容器,本质和仓库没有啥区别,只不过文件系统存储的是数据。

机械硬盘的写入速度和读写速度一般约为120MB/S,500MB/s是usb接口的最大速度,机械硬盘能达到200MB/s的速度都十分优秀了,大部分都是100MB/s~150MB/s 。SATA协议的固态硬盘速度约为500MB/S,NVMe协议(PCIe 3.0×2)的固态硬盘速度约为1800MB/S,NVMe协议(PCIe 3.0×4)的固态硬盘速度约为3500MB/S。

按机械硬盘的写能力能 150 M/s,copy 一个 100G 的文件至少要 682 秒 ( 100 G/ 150 M/s ),也就是 11 分钟

所以通常要是导出或是导入100G文件都会超过机械硬盘写入速度,具体多久还需要代码和查询数据量来定。

fdisk -l         #查看block size


iostat -d -k 1 10 
#d 表示,显示设备(磁盘)使用状态;

#-k某些使用block为单位的列强制使用Kilobytes为单位;

#1 10表示,数据显示每隔1秒刷新一次,共显示10次。


写文件流程:

  1. 先写数据:数据先按照 Block 粒度存储到磁盘的各个位置;

  2. 再写元数据:然后把 Block 所在的各个位置保存起来,即inode;

读文件流程则是:

  1. 先读inode,找到各个 Block 的位置;

  2. 然后读数据,构造一个完整的文件,给到用户;

文件 size 只是 inode 里面的一个属性,实际物理空间占用则是要看用户数据放了多少个 block ,没写数据的地方不用分配物理block块。

这样的文件其实就是稀疏文件, 它的逻辑大小和实际物理空间是不相等的。 

文件系统为什么和实际物理空间不同?

  1. 首先,最关键的是把磁盘空间切成离散的、定长的 block 来管理;

  2. 然后,通过 inode 能查找到所有离散的数据(保存了所有的索引);

  3. 最后,实现索引块和数据块空间的后分配;

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
您可以按照以下步骤使用AbstractItemStreamItemWriter来写入txt文件并在达到1G时切换到下一个文件: 1. 创建一个自定义的ItemWriter类,该类继承自AbstractItemStreamItemWriter。 2. 在该类中,定义一个实例变量用于跟踪当前写入文件大小,并在write方法中读取每个Item并将其写入文件。 3. 在write方法中,每次写入一个Item时,都要检查当前文件大小是否超过了1G(可以使用File.length()方法来检查文件大小)。如果超过了1G,则关闭当前文件并切换到下一个文件。 4. 在open方法中,打开第一个文件以开始写入。 5. 在close方法中,关闭最后一个文件以完成写入。 下面是一个示例代码: ```java public class CustomItemWriter<T> extends AbstractItemStreamItemWriter<T> { private static final long MAX_FILE_SIZE = 1024 * 1024 * 1024; // 1G private File currentFile; private OutputStreamWriter writer; private long currentSize = 0; @Override public void open(ExecutionContext executionContext) throws ItemStreamException { try { currentFile = new File("file1.txt"); writer = new OutputStreamWriter(new FileOutputStream(currentFile)); } catch (IOException e) { throw new ItemStreamException("Failed to open file", e); } } @Override public void write(List<? extends T> items) throws Exception { for (T item : items) { String str = item.toString(); writer.write(str); currentSize += str.getBytes().length; if (currentSize > MAX_FILE_SIZE) { writer.close(); currentFile = new File("file" + (currentFile.getName().charAt(4) - '0' + 1) + ".txt"); writer = new OutputStreamWriter(new FileOutputStream(currentFile)); currentSize = 0; } } } @Override public void close() throws ItemStreamException { try { writer.close(); } catch (IOException e) { throw new ItemStreamException("Failed to close file", e); } } } ``` 此示例中,我们假设要写入文件名为file1.txt,当文件大小超过1G时,我们将切换到file2.txt,以此类推。注意,此处仅供参考,您可以根据实际需求进行修改。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

任玉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值