- 博客(2)
- 收藏
- 关注
RSS订阅原创 三、mindspore.dataset.Dataset.map介绍
最后一个数据增强的输出列的列名由output_columns指定，如果没有指定output_columns，输出列名与input_columns一致。前提概要：本文仅仅用于个人笔记记录，无其他用途（主要我懒，我写完了方便我翻）每个数据增强操作将数据集对象中的一个或多个数据列作为输入，第一个数据增强操作将input_columns中指定的列作为输入。，按顺序将数据增强作用在数据集对象上。
2024-06-13 09:50:47
558
原创 二、深度学习中数据缓存的意义
每个epoch和每个batch都会重复上述加载、解码和预处理步骤，导致大量I/O操作，尤其当数据集较大时，会产生显著的I/O开销。，每个epoch和每个batch都直接从缓存读取已解码和预处理好的数据，显著减少I/O操作，提高数据加载速度。由于数据已经在缓存中，读取操作主要发生在内存（或者磁盘缓存），避免了频繁的磁盘I/O和重复的预处理操作。，可以减少磁盘I/O操作，提高数据读取的效率，特别是在使用大型数据集或高分辨率图像时。在缓存过程中，可以进行解码和预处理操作，将处理好的数据存储在缓存中。
2024-06-13 09:42:53
396
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人