tensorflow快速迁移学习,对特征而非原始图像进行分类;predict函数自定义生成器

70 篇文章 5 订阅
11 篇文章 1 订阅
import cv2
#正则匹配使用:
import re
import os
#此库用于拷贝,删除,移动,复制以及解压缩
import shutil
import numpy as np
import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications import resnet
from tensorflow.keras.utils import plot_model
from tensorflow.keras.layers import Input,GlobalAvgPool2D,Dense,Dropout,Lambda
from tensorflow.keras.models import Model
from tensorflow.keras.losses import SparseCategoricalCrossentropy
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import ModelCheckpoint,TensorBoard,EarlyStopping
import matplotlib.pyplot as plt
#如此读取图像,直接返回numpy.ndarray
#img=cv2.imdecode(np.fromfile(“C:/Users/104005162/Desktop/企业微信截图_20220212102256.png”,np.uint8),-1)
#print(img.shape)
##转换为bgr图片,注意此时是PNG图片,不能用矩阵直接转换!
##img=img[:,:,::-1]
##bgra
#img=cv2.cvtColor(img,cv2.COLOR_BGRA2RGB)

dataAll=ImageDataGenerator(validation_split=0.3)
genIteratorForTrain=dataAll.flow_from_directory("D:/17flowers",batch_size=32,subset="training",class_mode='sparse')
genIteratorForText=dataAll.flow_from_directory("D:/17flowers",batch_size=32,subset="validation",class_mode='sparse')
#17花朵分类的输入形状为(256, 256, 3)
#(32,)
print(genIteratorForTrain.next()[1].shape)
shape_in=genIteratorForTrain.next()[0].shape[1:]

# 由训练网络是迁移网络,其参数不变,相同图片,输出特征值一致,
# 故可将所有图片预先通过网络生成特征值,再将特征值做CNN的输入进行计算,以此快速迁移,提升网络训练速度:
model=resnet.ResNet50(include_top=False,weights='imagenet',input_shape=shape_in)
#固定对应层的参数为不可训练
yList=[]
def Gen():
    for index,data in enumerate(genIteratorForTrain):
        if genIteratorForTrain.__len__()<=index:
            return
        yList.append(data[1])
        yield data[0]
#<class 'generator'>
print(type(Gen()))
inputs=Input(shape=(256, 256, 3))
x=model(inputs)
x=GlobalAvgPool2D()(x)
model2=Model(inputs,x)
feature= model2.predict(Gen())
#(986, 2048)特征值
print(feature.shape)
yAll=np.concatenate(tuple(yList))
print(yAll)
print(yAll.shape)

#再经过全连接网络输出结果:
inputs=Input(shape=(2048,))
x=Dense(17,activation="softmax")(inputs)
model3=Model(inputs,x)

#min_delta=为有效性度量,patience为无效代数,baseline为基准值,只有当当前效果同时优于上一代及基准值,才归0。该值设定可以为,在patience内
#没有达到要求的baseline,也停止。

#monitor决定保存模型的因素是准确率还是损失大小
checkPoint=ModelCheckpoint(filepath='{epoch:02d}-{categorical_accuracy:.4f}.h5',
                    monitor='val_accuracy',
                    verbose=1,
                    save_best_only=True)
#未经概率分布直接输出,lr合适,不然导致不收敛,SparseCategoricalCrossentropy:sparse代表从0开始的输出,就是index,该损失函数内含将ytrue转为onehot编码:
model3.compile(optimizer=Adam(lr=0.001),loss=SparseCategoricalCrossentropy(from_logits=False),
               metrics=["categorical_accuracy"])
history=model3.fit(x=feature,y=yAll,validation_split=0.2,
                   callbacks=[checkPoint],validation_freq=1,epochs=100)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颢师傅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值