搭建并训练多标签数据集的模型并将结果可视化

最新推荐文章于 2024-01-16 17:15:18 发布
最新推荐文章于 2024-01-16 17:15:18 发布
阅读量2.7k 收藏 14
点赞数 2
文章标签： 深度学习 神经网络 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/theworld666/article/details/113373913
版权

#搭建并训练多标签数据集的模型并将结果可视化（tensorflow2）

1.数据集的介绍

该数据为拥有颜色与衣服类别两个标签的衣服识别，对于这样的数据集要求我们的神经网络需要两个输出，一个是类别，另一个是颜色。

文章目录


在这里插入图片描述

2.数据预处理

我们利用glob库获得所有图片的路径

import matplotlib.pyplot as plt
import glob
#读取多输出数据集的图片，即我们这次的数据集有两个类别，颜色和衣服种类
all_image_path=glob.glob('../input/manyprints/multi-output-classification/dataset/*/*.jpg')
all_image_path[:5]

输出结果
['../input/manyprints/multi-output-classification/dataset/black_jeans/00000080.jpg',
 '../input/manyprints/multi-output-classification/dataset/black_jeans/00000027.jpg',
 '../input/manyprints/multi-output-classification/dataset/black_jeans/00000113.jpg',
 '../input/manyprints/multi-output-classification/dataset/black_jeans/00000335.jpg',
 '../input/manyprints/multi-output-classification/dataset/black_jeans/00000095.jpg']

但是为了更好地训练，我们需要提前打乱所有图片的顺序，所以

import random
random.shuffle(all_image_path)#打乱所有数据，其实这里也可以在tf.data构造输入中shuffle打乱
all_image_path[:5]
[out]:
['../input/manyprints/multi-output-classification/dataset/red_shirt/00000369.jpg',
 '../input/manyprints/multi-output-classification/dataset/red_shirt/00000333.jpg',
 '../input/manyprints/multi-output-classification/dataset/black_shoes/00000072.jpg',
 '../input/manyprints/multi-output-classification/dataset/black_shoes/00000090.jpg',
 '../input/manyprints/multi-output-classification/dataset/red_shirt/00000093.jpg']

接下来我们利用观察到的图片名称的格式来提取图片的标签

all_label_names=[label.split('/')[5] for label in all_image_path]
all_label_names[:5]
输出：['red_shirt', 'red_shirt', 'black_shoes', 'black_shoes', 'red_shirt']

但是我们仍然还要进一步地分离两个标签（我们不可能让模型只用一个标签得到两个输出）

all_color_label=[label.split('_')[0] for label in all_label_names]
all_cloth_label=[label.split('_')[1] for label in all_label_names]
all_cloth_label[:5]#这样我们就成功的分离了颜色和衣服两个标签
输出：['shirt', 'shirt', 'shoes', 'shoes', 'shirt']

color_labels=set(all_color_label)
cloth_labels=set(all_cloth_label)
cloth_labels#这里我们是要规格化输出结果，将所有输出结果与数字对应
color_label_to_index=dict((k,v) for v,k in enumerate(color_labels))
cloth_label_to_index=dict((k,v) for v,k in enumerate(cloth_labels))
cloth_label_to_index
输出：{'shoes': 0, 'dress': 1, 'jeans': 2, 'shirt': 3}

我们获得了每个标签对应的数字，然后我们就可以将所有图片对应的标签进行转化成数字

color_labels=[color_label_to_index.get(label) for label in all_color_label]
cloth_labels=[cloth_label_to_index.get(label) for label in all_cloth_label]

3.利用tf.data构造模型输入管道

​ tensorflow2有提供data模块来构造可以被模型接收并输入，并且使用起来极为方便，所以我们接下来就开始利用他来构造

def load_img(path):
    img=tf.io.read_file(path)
    img=tf.image.decode_jpeg(img,channels=3)
    img=tf.image.resize(img,[224,224])
    img=tf.cast(img,tf.float32)
    img=img/255
    img=img*2-1#把图片的返回值控制到[-1,1]
    return img
path_data=tf.data.Dataset.from_tensor_slices(all_image_path)
AUTOTUNE=tf.data.experimental.AUTOTUNE#使用该参数可以使得CPU在GPU运算时最大效率读取图片，提高训练效率
#使用data模块提供的map方法将数据集进行转换
image_ds=path_data.map(load_img,num_parallel_calls=AUTOTUNE)
#制作标签数据集
label_ds=tf.data.Dataset.from_tensor_slices((color_labels,cloth_labels))
all_data=tf.data.Dataset.zip((image_ds,label_ds))
#在所有数据准备完毕后，我们还需要划分验证集和测试集
count=int(len(all_data)*0.2)
test_data=all_data.take(count)
train_data=all_data.skip(count)

划分完验证集与训练集后，我们为了更好地训练我们还要对他做一定程度的处理（如制定batch_size,打乱数据，是否重复数据）

BATCH_SIZE=64
train_data=train_data.shuffle(buffer_size=len(train_data)).repeat().batch(BATCH_SIZE)
train_data=train_data.prefetch(AUTOTUNE)
train_data

#<PrefetchDataset shapes: ((None, 224, 224, 3), ((None,), (None,))), types: (tf.float32, (tf.int32, tf.int32))>train_data的数据格式
test_data=test_data.batch(BATCH_SIZE)

这样我们就制作好了我们的数据，接下来开始处理数据集的模型搭建与配置。

4.利用函数式API搭建模型

​ 在本例中，我们需要模型最终能输出两个标签，那么就决定我们的网络在最后卷积基与全连接层上的连接应该是分叉连接的，使用tensorflow提供的函数式API，我们可以很简单的搭建改模型 ，这种API的好处就是我们在构造模型的时候只需要给定输入和输出 ，接下来我们搭建模型，这里我们使用一个预训练神经网络mobilnetv2一个轻量级神经网络来作为我们的卷积基

input=keras.Input((224,224,3))
mobileNet=keras.applications.MobileNetV2(input_shape=(224,224,3),include_top=False                  
)

然后我们就像写函数一样写出我们的网络模型

x=mobileNet(inputs)
x=layers.GlobalAveragePooling2D()(x)
x1=layers.Dense(1024,activation='relu')(x)
output_color=layers.Dense(3,activation='softmax',name='output_color')(x1)
x2=x1=layers.Dense(1024,activation='relu')(x)
output_cloth=layers.Dense(4,activation='softmax',name='output_cloth')(x2)
model=keras.Model(inputs=inputs,outputs=[output_color,output_cloth])
model.summary()

在这里插入图片描述

有了这张网络结构图说明我们的模型已经顺利搭建成功了，然后我们对整个模型进行配置

model.compile(optimizer=keras.optimizers.Adam(0.0001),
loss={'output_color':'sparse_categorical_crossentropy','output_cloth':'sparse_categorical_crossentropy'},
metrics=['acc'])

5.训练与结果分析

history=model.fit(train_data,epochs=10,
          steps_per_epoch=train_count//BATCH_SIZE,
          validation_data=test_data,
          validation_steps=test_count//BATCH_SIZE
         )

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jzRSDZUJ-1611889897440)(C:\Users\admin\Desktop\suanfa\3.png)]

在这里我们可以看到整个模型的准确率（无论在训练集还是验证集）迅速逼近100%（这里说明下其实我提前训练了十遍，在第一次训练的末尾验证集正确率开始震荡，所以我在第二次训练后将准确率调整为0.0001），说明我们的模型搭建十分正确，接下来我们开始结果可视化

import random 
import numpy as np
choice=random.choice(range(len(all_image_path)))
img=load_img(all_image_path[choice])
img1=tf.expand_dims(img,0)
predicts=model.predict(img1)
color_predict=np.argmax(predicts[0][0])
cloth_predict=np.argmax(predicts[1][0])
img=(img+1)/2
plt.imshow(img.numpy())
plt.title(color_index[color_predict]+'-'+cloth_index[cloth_predict])
all_image_path[choice]

通过每次随机抽取图片验证我们的网络
在这里插入图片描述

在这里插入图片描述

可以看到我们模型在数据验证上都是十分不错的。

结语

在本篇博客中，我们对于拥有多标签每个标签不同类别的网络使用了函数式API来解决问题，并利用预训练神经网络来作为模型提取特征的部分，并且可视化了最终结果。如果对于博客有任何建议或疑问可以评论区交流，谢谢。

theworld666
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
python使用matplotlib对比多个模型在测试集上的效果并可视化、设置模型性能可视化结果柱状图（bar plot）标签的小数点位数（例如，强制柱状图标签0.7显示为两位小数0.70）
data+scenario+science+insight
12-15 829
python使用matplotlib对比多个模型的效果并可视化、设置模型性能可视化结果柱状图标签的小数点位数（例如，强制柱状图标签0.7显示为两位小数0.70）
TensorFlow入门教程：12：训练结果的可视化分析
知行合一 止于至善
10-01 7003
上篇文章模拟了线性回归下的训练的过程，并演示了训练后的线性模型对数据的适应程度，同时使用可视化的方式看到了结果的显示，在学习的过程中，合理利用诸如matplotlib等库函数，可以非常有效地对结果进行整体把握。 在篇文章中将继续使用简单的plot函数结合线性回归的结果，进行训练的中间结果和过程能有很好的把控。 前提准备 关于线性回归的详细，请参看： https://blog.csdn.net/l...
训练属于自己的Yolov5模型，从打标签到训练全过程
qq_21565363的博客
03-11 1222
使用yolov5目标检测算法实现对人参的识别
将数据显示在class为content的标签中_深度｜为了七夕节送女朋友一支口红，我爬取了京东并进行数据分析...
weixin_39647412的博客
11-20 1173
友情提示，本文略长，建议收藏后慢慢看！今天是七夕节，祝大家节日快乐！每到这一天，不少男生就开始犯愁(单身狗除外)：该给女朋友送什么礼物呢？思来想去，我决定送一个口红，一来口红属于化妆品，深受女生欢迎，二来口红在化妆品的领域中，属于物美价廉的一种品类，对于囊中羞涩的我来说，非常合适。但是网上那么多口红，到底哪一种更适合我送女朋友呢，我决定通过python爬一下京东，进行数据分析。首先爬取各个口红的交...
mmcls多标签分类实战（一）：制作多标签数据
litt1e的博客
06-16 4882
Multi-Label：多标签分类指当图片或者文本存在多个属性时，多标签分类能够对一张图片中的多个属性进行分类识别。下面将用mmclassification框架完成一次多标签分类实战。Multi-class与Multi-label的区别 首先，我们需要构建数据集，需要注意的是，多标签分类的数据集与多分类数据不同。Multi-class的label中只存在一个‘1’，而Multi-label中对应多个属性，label可以有多个‘1’。Multi-class构建数据集比较简单，只需要将不同类别的图片归纳到不同文
深度学习模型训练可视化（TensorBoard可视化）
weixin_42010722的博客
08-25 9702
你是否有这样的疑惑？ 在我们完成深度学习项目工程中，很多时候我们自己构建模型结构，或者在学习深度学习算法的时候由于算法结构，很难充分理解模型 你是否想看到自己的模型训练指标与参数的变化情况 很多时候，我们自己构建完成训练后，需要在通过修改参数构建 ...
BP神经网络实现多输入多输出回归模型搭建，python，带数据集
03-27
通过调整网络结构、学习率和训练轮数，可以优化模型的性能，使其更适应特定的数据集和任务需求。注意，实际应用中可能需要进行更多的数据预处理，如归一化、缺失值处理等，以提升模型的泛化能力。
基于联邦学习开发的高校学生成绩预测python源代码+数据集(Streamlit搭建可视化平台)
01-11
基于联邦学习开发的高校学生成绩预测python源代码+数据集(Streamlit搭建可视化平台) - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审...
MNIST手写数据集识别入门项目+数据集可视化+训练后的模型使用.zip
12-24
7. **数据集可视化**：在TensorFlow的官方基础上，加入了数据集的可视化，这有助于我们直观地了解MNIST数据集的特性，例如数字的分布、形状等，也有助于调试和理解模型的性能。 通过这个项目，初学者可以学习到如何...
图卷积神经网络GCN经典案例，CORA数据集，分类任务，纯pytoch编写，注释清晰，可视化直观感受
06-03
图卷积神经网络GCN是图神经网络GNN的一种，其实理解起来也不难。当然最好的学习方法是从一个经典案例开始。CORA数据集是分类任务...代码纯pytoch框架编写，注释清晰，可视化让你直观感受GCN的训练过程，以及训练效果。
实战案例-使用KNN模型对鸢尾花数据进行分类（含源码及数据集）
05-11
在代码中，我们将加载鸢尾花数据集并查看前几行，理解数据的基本结构。然后，我们通常会将数据分为训练集和测试集，比如使用`train_test_split`函数，以80%的数据用于训练模型，剩余20%用于测试模型的性能。 接着，...
Yolov8目标识别——模型训练结果可视化图分析与评估训练结果
最新发布
知来者逆的博客
01-16 3万+
Yolov8在训练完成之后，会在run目录下把训练的过程一些参数与结果示意图保存下来,这里面包含是目标检测性能指标，如下图:表示正确预测的目标数量与总预测数量的比率。表示模型正确预测为正样本的样本数量占所有预测为正样本的样本数量的比例。表示模型正确预测为正样本的样本数量占所有实际正样本的样本数量的比例。综合考虑精确率和召回率，是精确率和召回率的调和平均数。衡量模型检测出的区域与实际目标区域的重叠程度。在目标检测中，AP通常指Precision-Recall曲线下的面积，用于综合评估模型的性能。
NLP（五十一）使用PyTorch训练多标签文本分类模型
山阴少年
03-17 6286
本文将介绍如何使用PyTorch训练多标签文本分类模型。
【多标签语义场景分类数据集】MLRSNet
weixin_43864917的博客
03-16 2222
【多标签语义场景分类数据集】MLRSNet: A multi-label high spatial resolution remote sensing dataset for semantic scene understanding本文的贡献MLRSNet的简介 文章地址：link 数据集地址：link 和 link 关键词：多标签图像数据集；语义场景理解；卷积神经网络（CNN）；图片分类；图像检索 本文的贡献 本文提出了一种新颖的大规模高分辨率多标签遥感数据集，称为“ MLRSNet”，用于语义场景理
多标签数据制作
gf18381303772的博客
12-05 1161
把LIBSVM格式的多标签数据制作成mat格式的数据工具步骤 工具 matlab，工具包libsvm 步骤 1、用excel打开libsvm格式的数据，去掉前面的前缀（exp1…），以空格符分开 2、把非标签栏用文本格式表示 3、结束，保存数据 4、在txt文件中操作，去掉标签的双引号，用替换功能，把引号用无代替，OK 5、现在开始写matlab程序，把它变成mat格式的常规数据集的格式，代码如下...
mmdetection训练数据集后指标可视化（一些工具使用）
weixin_44733311的博客
05-31 2128
mmdetection训练coco数据集（继跑通后的一些工具使用）
深度学习：可视化方法（模型可视化，训练过程可视化，特征提取可视化）
qq_42911863的博客
08-04 6916
深度学习可视化，pytorch（tensorboard/netron）
多标签的T-SNE可视化
weixin_43967979的博客
09-23 455
可用于多标签任务，但是我的做出来的效果不好，还希望大佬们试试，一起交流下
多标签学习方法multilabel by simple neural networks
我的博客
11-02 2440
文章目录Multilabel Neural Networks with Applications to Functional Genomics and Text Categorization2006 IEEE Transactions on Knowledge and Data EngineeringMin-Ling Zhang and Zhi-Hua Zhou介绍多标签学习BP-MLL神经网络架...
PyTorch搭建LSTM模型，输入csv数据，划分训练集和测试集，实现多变量时间序列预测并且将预测结果可视化
03-31
首先，需要导入PyTorch和其他必要的库： ```python import torch import torch.nn as nn import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler ``` 接着，读入csv数据并进行归一化处理： ```python data = pd.read_csv('data.csv', index_col=0) scaler = MinMaxScaler() data = scaler.fit_transform(data) ``` 然后，定义划分训练集和测试集的函数： ```python def train_test_split(data, test_ratio=0.2): test_size = int(len(data) * test_ratio) train_size = len(data) - test_size train_data = data[:train_size] test_data = data[train_size:] return train_data, test_data ``` 接着，定义LSTM模型： ```python class LSTM(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(LSTM, self).__init__() self.hidden_size = hidden_size self.lstm = nn.LSTM(input_size, hidden_size) self.linear = nn.Linear(hidden_size, output_size) def forward(self, input): lstm_out, _ = self.lstm(input.view(len(input), 1, -1)) prediction = self.linear(lstm_out.view(len(input), -1)) return prediction[-1] ``` 接着，定义训练函数： ```python def train(model, train_data, optimizer, criterion, num_epochs): for epoch in range(num_epochs): for i in range(len(train_data) - 1): x = train_data[i:i+1,:-1] y = train_data[i+1:i+2,-1] optimizer.zero_grad() output = model(torch.tensor(x).float()) loss = criterion(output, torch.tensor(y).float()) loss.backward() optimizer.step() if epoch % 10 == 0: print('Epoch: {}, Loss: {:.5f}'.format(epoch, loss.item())) ``` 接着，定义测试函数： ```python def test(model, test_data): predictions = [] for i in range(len(test_data) - 1): x = test_data[i:i+1,:-1] output = model(torch.tensor(x).float()) predictions.append(output.item()) return predictions ``` 最后，将预测结果可视化： ```python def plot_predictions(predictions, test_data): test_y = test_data[1:,-1] plt.plot(test_y, label='True Data') plt.plot(predictions, label='Predictions') plt.legend() plt.show() ``` 完整代码如下： ```python import torch import torch.nn as nn import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler data = pd.read_csv('data.csv', index_col=0) scaler = MinMaxScaler() data = scaler.fit_transform(data) def train_test_split(data, test_ratio=0.2): test_size = int(len(data) * test_ratio) train_size = len(data) - test_size train_data = data[:train_size] test_data = data[train_size:] return train_data, test_data train_data, test_data = train_test_split(data) class LSTM(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(LSTM, self).__init__() self.hidden_size = hidden_size self.lstm = nn.LSTM(input_size, hidden_size) self.linear = nn.Linear(hidden_size, output_size) def forward(self, input): lstm_out, _ = self.lstm(input.view(len(input), 1, -1)) prediction = self.linear(lstm_out.view(len(input), -1)) return prediction[-1] model = LSTM(input_size=3, hidden_size=64, output_size=1) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) criterion = nn.MSELoss() num_epochs = 100 train(model, train_data, optimizer, criterion, num_epochs) predictions = test(model, test_data) plot_predictions(predictions, test_data) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值