图像分类的前期工作------数据集创建

目录

前言

一、数据集的获取

二、图像分类数据集的注意事项

1.删除与数据集无关的图片（包括可能存在的动图）

三、划分训练集与测试集

总结

---

前言

提示：首先，数据集的处理在整个实验中占着至关重要的位置，数据集的好与坏关乎着整个实验结果的成功与否。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、数据集的获取

现在在网络上有很多公开的数据集可以进行下载，我在这里提供一个阿里云的数据集网址仅供参考
数据集-阿里系唯一对外开放数据分享平台 (aliyun.com)https://tianchi.aliyun.com/dataset?spm=5176.12281949.J_3941670930.15.605a3b74WpcCBx

二、图像分类数据集的注意事项

1.删除与数据集无关的图片（包括可能存在的动图）

删除gif图像：

for fruit in tqdm(os.listdir(dataset_paths)):
    for file in os.listdir(os.path.join(dataset_paths, fruit)):
        file_path = os.path.join(dataset_paths, fruit, file)
        img = cv2.imread(file_path)
        if img is None:
            print(file_path, '读取错误，删除')
            os.remove(file_path)

 删除非三通道（红绿蓝构成）的图像：

import numpy as np
from PIL import Image
for fruit in tqdm(os.listdir(dataset_paths)):
    for file in os.listdir(os.path.join(dataset_paths, fruit)):
        file_path = os.path.join(dataset_paths, fruit, file)
        img = np.array(Image.open(file_path))
        try:
            channel = img.shape[2]
            if channel != 3:
                print(file_path, '非三通道，删除')
                os.remove(file_path)
        except:
            print(file_path, '非三通道，删除')
            os.remove(file_path)

其中，dataset_paths为所下载数据集的本地路径。 

三、划分训练集与测试集

训练集与测试集的划分可以根据自己想要的比例进行划分。

X = StandardScaler().fit_transform(x)
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3,random_state=420)

其中，用train_test_split就能对数据及其标签进行划分，test_size=0.3就是所划分的数据集占比为0.3.

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了数据集的重要性及其简单的操作，而数据集还有更多重要的操作需要我们去探索。