Keras实例教程(4)之迁移学习

已于 2023-02-11 06:45:27 修改
阅读量1.8w 收藏 40
点赞数 15
分类专栏： 机器学习之术 文章标签： 深度学习 Keras VGG16 Transfer Learning
于 2018-06-20 16:20:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baimafujinji/article/details/80743814
版权

迁移学习（Transfer Learning）是机器学习中的一个重要研究话题，也是在实践中具有重要价值的一类技术。Transfer learning focuses on storing knowledge gained while solving one problem and applying it to a different but related problem. 举例来说，在之前的文章中，我们曾经介绍过VGG16，它是由来自牛津大学的研究团队训练的一个针对ImageNet进行图像识别与分类的深度CNN网络。在ImageNet中，图像的中物体的类别多达1000种。当面对另外一个image dataset时，我们能否最大程度地利用已经训练好的VGG16来完成我们的任务，或者说是将VGG16中已经学到的经验“迁移”到新到问题中呢？本文就来带你一探究竟。

一、问题介绍

首先来看一下我们要解决的问题。这个问题源自于Kaggle网站曾经举行过的一项竞赛，如下图所示，竞赛的主题是设计能够分辨图像中的动物是猫还是狗的方法，你可以从【3】中获得我们实验所需的数据集。

原始数据集中包含12,500张猫的图片和12,500张狗的图片，我们仅从中各取前1000张来作为训练数据，并再各去400张来作为验证数据。然后创建如下图所示的目录结构，用来存放上述提到的这些图像文件：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
白马负金羁
关注
  • 15
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
订阅专栏
Keras深度学习实战（10）——迁移学习详解
盼小辉丶的博客
06-19 6339
迁移学习 (Transfer Learning) 是机器学习中的一个重要研究方向，指将一个预训练的模型重新用于另一个任务中，和从零开始训练卷积神经网络相比，利用迁移学习，只需要少量样本即可训练得到性能较好的模型。本文我们将使用预训练的 VGG16 模型利用迁移学习进行性别分类任务实战。......
基于迁移学习及LSTM神经网络的气动力建模方法，transfer-lstm-master.zip
最新发布
03-21
基于迁移学习及LSTM神经网络的气动力建模方法，transfer-lstm-master.zip
使用keras进行迁移学习
格拉迪沃的博客
03-20 4681
使用keras进行迁移学习概述提取特征法不数据增强的特征提取使用数据增强的特征提取微调模型 概述 针对小型数据集，如果从头训练一个网络效果并不理想，如何进一步提高呢？在上一篇博文的基础上，我们进行预训练。即用迁移学习的思想来提高分类效果。 使用预训练的方法有两种：特征提取和模型微调 提取特征法 提取特征这法又分为两种形式，一种是用之前预训练过的网络直接提取特征然后将这些特征送入新的分类器从头开始训...
机器学习---迁移学习
weixin_43961909的博客
02-27 1175
迁移学习是一种学习的思想和模式。迁移学习作为机器学习的一个重要分支，侧重于将已经学习过。的知识迁移应用于新的问题中。迁移学习的核心问题是，找到新问题和原问题之间的相似性，才可。定义：迁移学习，是指利用数据、任务、或模型之间的相似性，将在旧。迁移学习的原因概括为以下四个方面：大数据与少标注之间的矛盾；海量的数据，持续不断地训练和更新相应的模型，使得模型的性能越来越好，越来越适合特定场景。然而，这些大数据带来了严重的问题：总是缺乏完善的数据标注。领域学习过的模型，应用于新领域的一种学习过程。
steps_per_epoch=2000,epochs=100之间的区别
Kp0fS的草稿纸
07-27 2万+
第一种解释： batchsize：中文翻译为批大小（批尺寸）。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； iteration：中文翻译为迭代，1个iteration等于使用batchsize个样本训练一次； 一个迭代 = 一个正向通过+一个反向通过 epoch：迭代次数，1个epoch等于使用训练集中的全部样本训练一次； 一个epoch = 所有训练样...
Keras学习之：全网最详细，一文包你会！使用 Keras 自带的模型实现迁移学习
qq_42902997的博客
09-07 5377
文章目录迁移学习是什么，为什么要用迁移学习场景一场景二破局之法：迁移学习迁移学习主要的三种手段Keras 可以使用哪些已经训练好的模型模型选择：Inceptionv3实现步骤导入模块加载数据集调整数据集中图片的尺寸数据增强 / 使用简单的原始数据加载 Keras 中的 Inceptionv3 模型模型删改知识迁移第一种手段：Transfer Learning第三种手段：Fine-tune冻结之后的训练第二种手段 迁移学习是什么，为什么要用迁移学习 场景一 我们在训练模型的时候，拿 CNN 网络来举例，CNN
使用Keras进行迁移学习
小白学视觉
03-01 550
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 导读使用Keras进行迁移学习，从实际代码出发，清楚明白。Inception-V3 Google ...
Keras实现vgg16网络和迁移学习
skycol的博客
10-03 1654
1.VGG-Net介绍，2.keras定义vgg16，3.keras实现vgg16迁移学习 ，4.预测新图-识别猫咪
Python深度学习10——Keras实现迁移学习
weixin_46277779的博客
07-09 1737
迁移学习，预训练，ResNet50，MobileNet
对于多分类问题，使用深度学习（Keras）进行迁移学习提升性能
weixin_44119674的博客
10-26 743
深度学习-迁移学习-多分类
python+tensorflow+keras 基于Inception-v3模型迁移学习处理clatech256分类
01-26
使用keras框架，对Inception-v3模型进行迁移学习，处理caltech256数据集的图像分类问题，现附上可执行代码，与大家分享。数据需要自己进行预处理，分为训练集和验证集。迭代次数都需要自行设定。提供train learning 和fun tune两种方法。
迁移学习进展研究
09-17
近年来,迁移学习已经引起了广泛的关注和研究.迁移学习是运用已存有的知识对不同但相关领域问题 进行求解的一种新的机器学习方法.它放宽了传统机器学习中的两个基本假设:(1) 用于学习的训练样本与新的测 试样本满足独立同分布的条件;(2) 必须有足够可利用的训练样本才能学习得到一个好的分类模型.目的是迁移已 有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题.对迁移学习算法的研究以及相关理论 研究的进展进行了综述,并介绍了在该领域所做的研究工作,特别是利用生成模型在概念层面建立迁移学习模型.最 后介绍了迁移学习在文本分类、协同过滤等方面的应用工作,并指出了迁移学习下一步可能的研究方向.
keras使用迁移学习实现医学图像二分类
08-31
整体上采用迁移学习来训练神经网络，使用InceptionV3结构，框架采用keras. 具体思路： 读取图片数据，保存成.npy格式，方便后续加载 标签采用one-hot形式，由于标签隐藏在文件夹命名中，所以需要自行添加标签，并...
Keras和VGG16模型-迁移学习
03-23
用Keras和VGG16模型转移学习。 使用的数据集是从网站获取：https://www.kaggle.com/moltean/fruits 不要忘记修改数据集的路径。
深度学习Keras对InceptionV3迁移学习精讲
06-11
本课程讲解内容是基于深度学习框架Keras，对InceptionV3模型进行迁移学习。涉及到迁移学习的必要性，迁移学习方法，迁移学习实战，最后用迁移学习结果去识别图片。
keras.rar_keras 深度学习_keras中文教程_keras学习_keras教程_keras教程 pdf
07-15
keras深度学习框架的学习教程，keras是一种常用的深度学习框架
数据挖掘十大算法之Apriori详解
热门推荐
白马负金羁
12-06 10万+
在2006年12月召开的 IEEE 数据挖掘国际会议上，与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ），在本系列已经发布的文章中我们已经讨论了其中的七个。本文主要介绍Apriori算法，它是用于关联规则挖掘的经典算法。关联规则挖掘是数据挖掘中非常重要的研究话题，在商业数据分析中占据重要十分的地位，经典的“啤酒”与“尿片”的故事即来源于此
数据挖掘十大算法之决策树详解（1）
白马负金羁
11-20 9万+
在2006年12月召开的 IEEE 数据挖掘国际会议上，与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ）。本博客已经介绍过的位列十大算法之中的5个。本文主要介绍机器学习中的决策树模型。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法
写一段keras迁移学习代码
05-17
下面是一个简单的Keras迁移学习代码示例，使用了ResNet50模型进行图像分类： ``` # 导入必要的模块 from keras.applications.resnet50 import ResNet50 from keras.layers import Dense, GlobalAveragePooling2D from keras.models import Model from keras.preprocessing.image import ImageDataGenerator # 加载预训练模型 base_model = ResNet50(weights='imagenet', include_top=False) # 添加新的全局平均池化层 x = base_model.output x = GlobalAveragePooling2D()(x) # 添加新的全连接层 x = Dense(1024, activation='relu')(x) predictions = Dense(num_classes, activation='softmax')(x) # 构建新的模型 model = Model(inputs=base_model.input, outputs=predictions) # 冻结预训练模型的层 for layer in base_model.layers: layer.trainable = False # 编译模型 model.compile(optimizer='rmsprop', loss='categorical_crossentropy') # 数据增强 train_datagen = ImageDataGenerator( rescale=1./255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True) test_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( train_dir, target_size=(224, 224), batch_size=batch_size, class_mode='categorical') validation_generator = test_datagen.flow_from_directory( validation_dir, target_size=(224, 224), batch_size=batch_size, class_mode='categorical') # 训练模型 model.fit_generator( train_generator, steps_per_epoch=nb_train_samples // batch_size, epochs=epochs, validation_data=validation_generator, validation_steps=nb_validation_samples // batch_size) # 保存模型 model.save('my_model.h5') ``` 其中，`ResNet50`是使用ImageNet数据集预训练的模型，我们在其基础上添加了新的全局平均池化层和全连接层。通过 `trainable` 参数可以控制哪些层需要被训练，这里我们冻结了预训练模型的所有层，只训练新添加的层。然后使用 `ImageDataGenerator` 对数据进行数据增强和预处理，并使用 `fit_generator` 方法进行模型训练。最后，使用 `save` 方法保存模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白马负金羁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值