pytorch之ImageFolder

pytorch之ImageFolder

torchvision已经预先实现了常用的Dataset,包括前面使用过的CIFAR-10,以及ImageNet、COCO、MNIST、LSUN等数据集,可通过诸如torchvision.datasets.CIFAR10来调用。在这里介绍一个会经常使用到的Dataset——ImageFolder。ImageFolder假设所有的文件按文件夹保存,每个文件夹下存储同一个类别的图片,文件夹名为类名,其构造函数如下:

ImageFolder(root, transform=None, target_transform=None, loader=default_loader)

它主要有四个参数:

root:在root指定的路径下寻找图片
transform:对PIL Image进行的转换操作,transform的输入是使用loader读取图片的返回对象
target_transform:对label的转换
loader:给定路径后如何读取图片,默认读取为RGB格式的PIL Image对象

label是按照文件夹名顺序排序后存成字典,即{类名:类序号(从0开始)},一般来说最好直接将文件夹命名为从0开始的数字,这样会和ImageFolder实际的label一致,如果不是这种命名规范,建议看看self.class_to_idx属性以了解label和文件夹名的映射关系。

图片结构如下所示:

以下是使用C++和libtorch实现类似于pytorchImageFolder方法的示例代码: ``` #include <torch/torch.h> #include <opencv2/opencv.hpp> class ImageFolderDataset : public torch::data::datasets::Dataset<ImageFolderDataset> { public: ImageFolderDataset(const std::string& root_dir, const std::string& extensions = ".jpg") : root_dir_(root_dir), extensions_(extensions) { // find all image files in the root directory for (auto& dir_entry : std::filesystem::directory_iterator(root_dir)) { auto path = dir_entry.path(); if (std::filesystem::is_regular_file(path) && is_image_file(path)) { image_paths_.push_back(path); } } } // get the i-th example in the dataset torch::data::Example<> get(size_t index) override { // load the image and convert to tensor auto image = cv::imread(image_paths_[index].string()); cv::cvtColor(image, image, cv::COLOR_BGR2RGB); // convert from BGR to RGB torch::Tensor tensor_image = torch::from_blob(image.data, { image.rows, image.cols, 3 }, torch::kByte).permute({ 2, 0, 1 }).toType(torch::kFloat) / 255.0; // get the label from the directory name auto label_path = image_paths_[index].parent_path(); int label = std::distance(std::filesystem::directory_iterator(root_dir_), std::find_if(std::filesystem::directory_iterator(root_dir_), std::filesystem::directory_iterator(), [&label_path](const auto& dir_entry) { return dir_entry.path() == label_path; })); return { tensor_image.clone(), torch::tensor(label) }; } // return the number of examples in the dataset torch::optional<size_t> size() const override { return image_paths_.size(); } private: std::vector<std::filesystem::path> image_paths_; std::string root_dir_; std::string extensions_; bool is_image_file(const std::filesystem::path& path) const { auto extension = path.extension().string(); return extensions_.empty() || std::find(extensions_.begin(), extensions_.end(), extension) != extensions_.end(); } }; int main() { // create the dataset and dataloader std::string root_dir = "/path/to/dataset"; ImageFolderDataset dataset(root_dir); auto data_loader = torch::data::make_data_loader<torch::data::samplers::SequentialSampler>(dataset, torch::data::DataLoaderOptions().batch_size(32)); // train the model using the dataset // ... } ``` 在上面的代码中,`ImageFolderDataset`类继承了`torch::data::datasets::Dataset`,并实现了`get()`和`size()`方法,以便能够使用`torch::data::make_data_loader()`函数创建一个数据加载器。在`get()`方法中,我们加载了图像并将其转换为张量,并从目录名称中获取标签。在`size()`方法中,我们返回数据集中的示例数。 注意,这里我们使用了OpenCV库来加载和处理图像。如果您想使用其他库,可以相应地修改代码。
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值