从零开始深度学习0511——inceptionv3迁移学习

0511

 

池化层完后，要去reshape

 

 

迁移学习

https://zhuanlan.zhihu.com/p/26693647

 

迁移学习：在ImageNet上得到一个预训练好的ConvNet网络，删除网络顶部的全连接层，然后将ConvNet网络的剩余部分作为新数据集的特征提取层。这也就是说，我们使用了ImageNet提取到的图像特征，为新数据集训练分类器。

微调：更换或者重新训练ConvNet网络顶部的分类器，还可以通过反向传播算法调整预训练网络的权重。

 

 

 

 

Tf+keras 进行inceptionv3 迁移学习 实现图像分类

 

InceptionV3_notop = InceptionV3(include_top=False, weights='imagenet', input_tensor=None, input_shape=(299, 299, 3))

 

include_top，如果是True，输出是1000个节点的全连接层。如果是False，会去掉顶层，输出一个8 * 8 * 2048的张量。

weights='imagenet'  说明迁移的是inceptionv3 在imagenet上进行训练的模型

 

此方法会自动下载h5权重文件

存放在  C:\Users\WG\.keras\models\.....h5   

 

如果自己下载的话，也需要将下载好的文件  放在这个位置

 

 

 

 

进行data augmentation 数据增强

train_datagen = ImageDataGenerator(

        rescale=1./255,

        shear_range=0.1,

        zoom_range=0.1,

        rotation_range=10.,

        width_shift_range=0.1,

        height_shift_range=0.1,

        horizontal_flip=True)
train_generator = train_datagen.flow_from_directory(

        train_data_dir,

        target_size = (img_width, img_height),

        batch_size = batch_size,

        shuffle = True,

        classes = FishNames,

        class_mode = 'categorical')

 

train_datagen = ImageDataGenerator(…)

指定对训练数据进行平移，旋转，镜像等等哪些操作

train_generator = train_datagen.flow_from_directory(…)

指定从训练数据来自哪个目录，裁剪成多大的像素，是否打乱顺序等等规定

最后训练时，feed的是train_generator

 

对于验证数据也是一样的操作

 

 

 

 

Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations

 

训练时出现这个错误

是因为 GPU使用率太高了，然后进行新的运算时就崩溃了。查看GPU利用率的方法：

windows查看GPU占用率以及GPU未执行原因

https://blog.csdn.net/weixin_41770169/article/details/80349088

解决办法：

深度学习中最直观的方式就是减小batch_size或者hidden_layer中的单元数

 

 

 

 

 

ModelCheckpoint（） 方法详解

 

best_model = ModelCheckpoint(best_model_file, monitor='val_acc', verbose = 1, save_best_only = True) #verbose=1  会输出日志流

https://blog.csdn.net/zengNLP/article/details/94589469

keras.callbacks.ModelCheckpoint(filepath,

                         monitor='val_loss',

                         verbose=0,

                         save_best_only=False,

                         save_weights_only=False,

                         mode='auto',

                         period=1)

该回调函数将在每个epoch后保存模型到filepath

其他参数看链接  说的很详细

 

 

如何利用predict/predict_generator对测试数据进行预测?

采用预训练+微调的形式处理文件夹图像数据，常常使用ImageDataGenerator与flow_from_directory函数实现对文件夹内数据的增广扩充，用fit_generator函数训练扩充的数据

https://blog.csdn.net/zhenyu_an/article/details/89367335

 

 

Inceptionv3_model.flow_from_directory（）

https://blog.csdn.net/mieleizhi0522/article/details/82191331

ImageDataGenerator生成器的flow，flow_from_directory用法

flow_from_directory(directory): 以文件夹路径为参数,生成经过数据提升/归一化后的数据,在一个无限循环中无限产生batch数据

directory: 目标文件夹路径,对于每一个类,该文件夹都要包含一个子文件夹.子文件夹中任何JPG、PNG、BNP、PPM的图片都会被生成器使用.详情请查看此脚本

target_size: 整数tuple,默认为(256, 256). 图像将被resize成该尺寸

color_mode: 颜色模式,为"grayscale","rgb"之一,默认为"rgb".代表这些图片是否会被转换为单通道或三通道的图片.

classes: 可选参数,为子文件夹的列表,如['dogs','cats']默认为None. 若未提供,则该类别列表将从directory下的子文件夹名称/结构自动推断。每一个子文件夹都会被认为是一个新的类。(类别的顺序将按照字母表顺序映射到标签值)。通过属性class_indices可获得文件夹名与类的序号的对应字典。

class_mode: "categorical", "binary", "sparse"或None之一. 默认为"categorical. 该参数决定了返回的标签数组的形式, "categorical"会返回2D的one-hot编码标签,"binary"返回1D的二值标签."sparse"返回1D的整数标签,如果为None则不返回任何标签, 生成器将仅仅生成batch数据, 这种情况在使用model.predict_generator()和model.evaluate_generator()等函数时会用到.

batch_size: batch数据的大小,默认32

shuffle: 是否打乱数据,默认为True

seed: 可选参数,打乱数据和进行变换时的随机数种子

save_to_dir: None或字符串，该参数能让你将提升后的图片保存起来，用以可视化

save_prefix：字符串，保存提升后图片时使用的前缀, 仅当设置了save_to_dir时生效

save_format："png"或"jpeg"之一，指定保存图片的数据格式,默认"jpeg"

flollow_links: 是否访问子文件夹中的软链接