深度学习（五）迁移学习（实战：新数据预测+vgg16和聚类预测）

已于 2023-03-17 14:35:43 修改
阅读量357 收藏
点赞数
分类专栏： 机器学习与深度学习 文章标签： 深度学习 机器学习 人工智能
于 2023-03-17 14:21:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37699342/article/details/129556642
版权

目录

迁移学习概念

模型更新的方式

在线学习

混合模型

实战

1. 基于新数据的迁移学习预测

步骤：建MLP模型-》训练两次模型-》模型保存-》加载模型-》训练&预测模型

实战代码：coding-418/Artificial_Intelligence - 慕课网Git (imooc.com)

实战summary：

2. 寻找普通苹果与其它苹果

步骤：数据增强-》载入图像-》vgg16提取特征-》建立MeanShift模型-》训练&预测模型-》pca降维-》统计数据-》预测-》可视化

实战代码：coding-418/Artificial_Intelligence - 慕课网Git (imooc.com)

实战summary：

迁移学习概念

把已经训练好的模型直接拿过来用（比如已经提取好的图像轮廓、已经训练好语料的NLP模型），在新场景中，根据新数据建立新模型。

流程：任务数据A -》含参数（模型结构和权重）的A模型 -》任务数据B -》更新A模型的参数以获得B模型

好处：模型B对数据量要求小，待更新的数据量小，比全新模型表现好

模型更新的方式

1. 特征提取：去除模型A的输出层。相似度高，新数据少，保留原模型的大部分结构和权重

2. 结构引用：直接用模型A的结构，用新数据进行二次训练。相似度高，新数据多，基于原结构重新训练

3. 模型部分训练：用模型A的结构，只修改部分层的参数。相似度低，要训练的参数多

4. 全新模型：相似度低，新数据多，原模型不适用，重新训练新模型

根据以下两个因素选择模型更新的方式

1. 数据量

2. 任务相似度

了解本专栏 订阅专栏 解锁全文 超级会员免费看
想要好好撸AI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
基于迁移学习的人脸识别实战（完整代码+数据）
01-16 6143
基于迁移学习的人脸识别实战（完整代码+数据）
InceptionV3迁移学习训练并预测
gulingfengze的博客
04-12 7653
迁移学习的内容这里就不说它了，这里有篇文章推荐给大家：数据不够怎么训练深度学习模型？不妨试试迁移学习 。内容基本上来源《TensorFlow:实战Google深度学习框架》和这篇博文【TensorFlow】迁移学习（使用Inception-v3） ，这里对三位作者表示感谢！ 1.数据集与模型下载 数据集下载 inceptionV3模型 ，密码：ilab 2.训练代码 import...
简单的融合模型：基于keras 的少量样本集迁移学习 VGG16+MeanShift+PAC降维混合模型的苹果识别 2 代码整合
qq_33329316的博客
11-28 198
过几天传github 吧
小白玩机器学习（4）--- 用迁移学习做回归 预测待检测目标的位置(1)
最新发布
2401_84097883的博客
04-22 425
一个好的心态和一个坚持的心很重要，很多冲着高薪的人想学习前端，但是能学到最后的没有几个，遇到困难就放弃了，这种人到处都是，就是因为有的东西难，所以他的回报才很大，我们评判一个前端开发者是什么水平，就是他解决问题的能力有多强。分享一些简单的前端面试题以及学习路线给大家，狂戳这里即可免费领取评判一个前端开发者是什么水平，就是他解决问题的能力有多强。分享一些简单的前端面试题以及学习路线给大家，狂戳这里即可免费领取[外链图片转存中…(img-l7xQOi6C-1713780707765)]
PyTorch使用教程-迁移学习(几分钟即可训练好自己的模型)
YXHPY BLOG
08-30 1万+
PyTorch使用教程-迁移学习 前言 如果你认为深度学习非常的吃GPU，或者说非常的耗时间，训练一个模型要非常久，但是你如果了解了迁移学习那你的模型可能只需要几分钟，而且准确率不比你自己训练的模型准确率低，本节我们将会介绍两种方法来实现迁移学习 迁移学习方法介绍 微调网络的方法实现迁移学习，更改最后一层全连接，并且微调训练网络 将模型看成特征提取器，如果一个模型的预训练模型非常的好，那完全就把前面的层看成特征提取器，冻结所有层并且更改最后一层，只训练最后一层，这样我们只训练了最后一层，训练会非常的快速
大作业论文之基于迁移学习的图像预测研究
ThePaK的博客
02-13 2412
基于迁移学习的图像预测研究 摘要:深度学习技术发展迅速,在图像处理领域取得了显著成果.[2]但是由于部分图像样本少,标注困难,使得深度学习的效果远未达到预期.迁移学习是机器学习中一种新的学习范式,它可以克服深度学习需要大量样本的缺陷,能够解决图像分析中数据集较小导致模型不准确的问题,因而成为继深度学习之后在图像分析领域的研究热点.[1]本文介绍了迁移学习方法的基本概念、模型、常用策略及模型,并基于迁移学习的VGG16神经网络模型实现了对图像的分类和预测. 关键词: 迁移学习；神经网络；深...
草药数据集的五分类图像识别项目：基于VGG16网络的迁移学习
12-17
本项目基于VGG16迁移学习的图像分类，可直接运行。 数据集采用水果十二分类数据集（百合、党参、枸杞、槐花、金银草)，包括696张训练图片和206张预测图片。 网络训练的时候采用cos 学习率自动衰减，训练了50个epoch...
深度学习之PyTorch实战源码：基于深度网络VGG 16处理MNIST数据集，实现98%+准确率
12-14
本资源详细介绍了如何使用PyTorch和VGG16模型处理MNIST数据集，并实现了接近99%的准确率。其中包括模型的建立、训练、评估以及优化技巧等，旨在帮助您快速掌握深度学习在图像分类任务中的应用。 适用人群： 本资源...
水果数据集的五分类图像识别项目：基于VGG16网络的迁移学习
12-15
本项目基于VGG16迁移学习的图像分类，可直接运行。 数据集采用水果五分类数据集(哈密瓜、胡萝卜、樱桃、黄瓜、西瓜)，包括1849张训练图片和387张预测图片。 网络训练的时候采用cos 学习率自动衰减，训练了50个epoch...
猫狗数据集的二分类图像识别项目：基于VGG16网络的迁移学习
12-14
本项目基于VGG16迁移学习的图像分类，可直接运行。 数据集采用猫狗二分类数据集，包括2180张训练图片和414张预测图片。 网络训练的时候采用cos 学习率自动衰减，训练了50个epoch。模型在测试集最好的表现达到99%精度...
（不是完整项目，适用于学习）LSTM + VGG16 图像描述的自动生成
09-23
数据集采用flickr8k（图像，对应的文本描述），使用keras创建VGG16定义的CNN网络。利用VGG16（去掉最后一层）提取图像特征，将flickr8k的图像文件转为图像特征，保存为pickle文件。 2.写不下了，自己看吧，代码有...
迁移学习（ Transfer Learning ）详细介绍
04-23
在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展很快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片，再到博客、播客等。传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。而没有大量的标注数据，会使得很多与学习相关研究与应用无法开展。其次，传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而，在许多情况下，这种同分布假设并不满足。通常可能发生的情况如训练数据过期。这往往需要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要解决的问题。
时间序列预测新范式——基于迁移学习的AdaRNN方法
SmartLab307的博客
09-01 5258
本文转载自知乎王晋东不在家的《小王爱迁移》系列之十五：自动选择源域的迁移学习方法 源地址为：《小王爱迁移》系列之32：时间序列预测新范式——基于迁移学习的AdaRNN方法 - 知乎 (zhihu.com) 绝大部分迁移学习算法都假定学习任务为图像分类。然而实际应用中并非只有图像这一种数据类型，实际的任务也并非只有分类。本文介绍时间序列数据上的迁移学习方法，特别地，我们将介绍迁移学习如何应用于时间序列的回归和预测任务。由于此类研究目前还较少，因此，其在未来有很高的研究和应用价值。 本文介绍一篇刚被数据挖掘
利用VGG16网络模块进行迁移学习实现图像识别
xiaofeixia002X的博客
12-08 1413
利用VGG16网络模块进行迁移学习实现图像识别
Transfer Learning&Deep Learning-VGG16-图像识别
喜碧CatBrother
03-10 1106
声明：笔者的该篇博客核心内容借鉴了多位大牛的分享，出发点源于知识的分享以及督促学习，若有作者需特别标注请私信或留言。力争用“土到掉渣的语言（通俗易懂的语言）”与大家分享，因水平有限，欢迎大牛批评指正！ 背景知识 Transfer Learning(TL)和Deep Learning(DL)是当下较为热门的领域，简单可以理解为：DL是当下，TL是未来。 VGG 是视觉领域竞赛 ILSVRC 在 20...
深度学习Keras对InceptionV3迁移学习精讲
10-15
本课程讲解内容是基于深度学习框架Keras，对InceptionV3模型进行迁移学习。涉及到迁移学习的必要性，迁移学习方法，迁移学习实战，最后用迁移学习结果去识别图片。
迁移学习--深度迁移学习
热门推荐
vvnzhang2095的博客
04-12 3万+
文章：How transferable are features in deep neural networks代码部分：http://yosinski.com/transfer这篇文章里的迁移我认为是transductive TL层面上的迁移（transductive TL具体可以看我这篇文章：迁移学习--综述）也就是domain不同，但是task相同。但是transductive TL里面还提...
ResNet迁移学习（五）—— 网络预测（predict.py）
DAOCHI
11-03 1779
预测流程 加载预测参数 加载网络结构，恢复权重 循环预测，输出结果 评价指标 代码展示 以下代码是predict.py import cv2 import os import shutil import numpy as np import tensorflow as tf import config as cfg from tensorflow.contrib.slim.nets import resnet_v2 from Model import * class ResNetTest(objec
q迁移学习如何提高预测精度
12-28
迁移学习是一种利用从一个任务学到的知识来改善另一个相关任务的学习方法。它可以有效地利用源领域的数据和知识来提高目标领域的预测精度。迁移学习可以通过以下几种方式提高预测精度。 首先，迁移学习可以通过利用源领域的特征来提高目标领域的特征学习。源领域的特征可能包含一些对目标领域有用的信息，可以通过迁移学习的方法将这些特征转化为目标领域的特征表示，从而提高预测精度。 其次，迁移学习可以通过共享源领域的模型参数来提高目标领域的模型学习。源领域的模型可能已经学到了一些普遍的知识，可以通过迁移学习的方法将这些参数共享给目标领域的模型，从而加速目标领域的模型学习并提高预测精度。 此外，迁移学习还可以通过域适应的方法来提高预测精度。域适应是一种通过对抗训练的方法，可以减小不同领域之间的分布差异，从而提高目标领域的预测精度。 总的来说，迁移学习可以通过特征学习、模型学习和域适应等方法来提高预测精度，是一种有效的方法来解决数据稀疏或标注不足的问题，同时也可以提高模型在新任务上的泛化能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想要好好撸AI

你的鼓励就是我最大的创作动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值