tensorflow2 使用tf.data.Dataset生成数据集

import cv2
#正则匹配使用:
import re
import os
#此库用于拷贝,删除,移动,复制以及解压缩
import shutil
import numpy as np
import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications import resnet
from tensorflow.keras.utils import plot_model
from tensorflow.keras.layers import Input,GlobalAvgPool2D,Dense,Dropout
from tensorflow.keras.models import Model
from tensorflow.keras.losses import SparseCategoricalCrossentropy
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.callbacks import ModelCheckpoint,TensorBoard,EarlyStopping
import matplotlib.pyplot as plt

dataAll=ImageDataGenerator(validation_split=0.3)
genIteratorForTrain=dataAll.flow_from_directory("D:/17flowers",batch_size=128,subset="training",class_mode='sparse')
iterator=genIteratorForTrain.next()
#结果是(128, 256, 256, 3)
#print(iterator[0].shape)
#print(iterator[1].shape)
mydataSet=tf.data.Dataset.from_tensor_slices((iterator[0],iterator[1]))
for i in mydataSet.as_numpy_iterator():
    #(256, 256, 3)
    print(i[0].shape)
    break;
#设置数据产生的批次大小:
mydataSet2=mydataSet.batch(32)
for i in mydataSet2.as_numpy_iterator():
    #(32, 256, 256, 3)
    print(i[0].shape)
    break;
#当dataset为元组形式,mymap接收两大参数,当遍历数据集取出元素时,自动用map进行处理
def mymap(obj,obj2):
    print("shape:")
    #(256, 256, 3)
    print(obj.shape)
    #()
    print(obj2.shape)
    return (obj,obj2)
#事先使用批次后,map1批次的数据:此时新数据集中的每个元素已改变
mydataSet2=mydataSet2.map(mymap)

#17花朵分类的输入形状为(256, 256, 3)
shape_in=genIteratorForTrain.next()[0].shape[1:]
model=Dense(100)
#定义一个输入层:
inputs=Input(shape=shape_in)
#此处x形状为(None, 7, 7, 2048)
x=model(inputs)
#此处x形状为(None, 2048)
x=GlobalAvgPool2D()(x)
#此处x形状为(None, 2048)
x=Dense(units=17)(x)
#此处x形状为(None, 2048)
x=Dropout(rate=0.5)(x)
model2=Model(inputs = inputs, outputs = x)

model2.compile(optimizer=Adam(lr=0.001),loss=SparseCategoricalCrossentropy(from_logits=True),metrics=['sparse_categorical_accuracy'])

history=model2.fit(x=mydataSet2,epochs=10,validation_data=mydataSet2)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颢师傅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值