在构建tensorflow模型过程中,可谓是曲折颇多,一些教程上教会了我们如何使用下载的现成数据集,但却没有提及如何构建自己的数据集。我自己在学习过程中也走了不少弯路,希望这一系列的博客能解决大家的一些困惑。
我们本地构建数据集主要是以下几个步骤
1.数据处理
2.数据增强
3.数据导入
4.构建模型
5.训练模型
这篇先讲一下数据处理的一些操作,后面的步骤会慢慢发出来。
1.导入第三方库
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics
from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import math
import pathlib
import random
import matplotlib.pyplot as plt
import numpy as np
这里会注意到,我在导入os库时,在后面加了
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
这句话的作用是避免报错:This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN)
2.导入数据路径
data_root = pathlib.Path('./image')
all_image_paths = list(data_root.glob('*/*'))
all_image_paths = [str(path) for path in all_image_paths]
我这里的./image是我本地图片集所在的文件夹,image文件夹下是两个分别保存不同种类图片的文件夹,因为我这里是做二分类,所以只有两个不同种类的文件夹,如果大家需要构建识别多种图片的模型,可以添加其他文件夹。
3.随机打乱图片,这一步的目的是为了让图片集去特殊化,提高模型的准确率,因为如果你的图片中有比较相近的,而且数量比较多,会影响模型的学习。这一步是调用了random的shuffle,传入图片集列表,随机打乱。
random.shuffle(all_image_paths)
4.构建标签及索引
其实是构建了一个字典
#列出标签
label_names = sorted(item.name for item in data_root.glob('*/') if item.is_dir())
#为标签分配索引
label_to_index = dict((name, index) for index, name in enumerate(label_names))
#创建列表,存放标签和索引
all_image_labels = [label_to_index[pathlib.Path(path).parent.name]
for path in all_image_paths]
5.加载和格式化图片
我们可以看到,tf.image.decode_jpeg(image,channels=3,这句话的作用是把图片变成三通道图,即RGB式图片。需要强调一下,tf.image.resize()这个小东西好用的很,可以把你的图片统一大小,这在后面我们训练模型是必须的,统一大小的图片更有利于我们的模型学习。而image/255.0是为了使图像进行归一化,得到的数值范围为[0, 1],彩色图片会变成灰图。
load_and_prepro_image()这个函数就是读取传入路径的图片集,然后返回值是经过了preprocess_image 这个函数的调用,将返回的图片处理为灰度图,比较简单暴力。
#加载和格式化图片
def preprocess_image(image):
image = tf.image.decode_jpeg(image,channels=3)
image = tf.image.resize(image,[192,192])
image /= 255.0
return image
def load_and_prepro_image(path):
image = tf.io.read_file(path)
return preprocess_image(image)
for i in range(len(all_image_paths)):
image_path = all_image_paths[i]
label = all_image_labels[i]
plt.imshow(load_and_prepro_image(image_path))
plt.grid(False)
plt.xlabel(image_path)
plt.title(label_names[label].title())
#plt.show()
然后关于这个for循环,其实不是必须的,只是为了方便我们检查图片的处理效果,调用的库是matplotlib,python比较有名的绘图库。
就先到这,后会有期。
下面是全部源码,tensorflow版本是2.5,py版本3.7,cuda11.6。
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics
from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import math
import pathlib
import random
import matplotlib.pyplot as plt
import numpy as np
#数据处理
#导入数据路径
data_root = pathlib.Path('./image')
all_image_paths = list(data_root.glob('*/*'))
all_image_paths = [str(path) for path in all_image_paths]
#随机打乱图片
random.shuffle(all_image_paths)
#列出标签
label_names = sorted(item.name for item in data_root.glob('*/') if item.is_dir())
#为标签分配索引
label_to_index = dict((name, index) for index, name in enumerate(label_names))
#创建列表,存放标签和索引
all_image_labels = [label_to_index[pathlib.Path(path).parent.name]
for path in all_image_paths]
#加载和格式化图片
def preprocess_image(image):
image = tf.image.decode_jpeg(image,channels=3)
image = tf.image.resize(image,[192,192])
image = image/255.0
return image
def load_and_prepro_image(path):
image = tf.io.read_file(path)
return preprocess_image(image)
for i in range(len(all_image_paths)):
image_path = all_image_paths[i]
label = all_image_labels[i]
plt.imshow(load_and_prepro_image(image_path))
plt.grid(False)
plt.xlabel(image_path)
plt.title(label_names[label].title())
#plt.show()