深度学习（八）——fine-tuning, 李飞飞

最新推荐文章于 2024-05-28 19:39:32 发布
最新推荐文章于 2024-05-28 19:39:32 发布
阅读量6.5k 收藏 10
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/antkillerfarm/article/details/78015644
版权

https://antkillerfarm.github.io/

GAN（续）

Lipschitz约束

稍微思考一下，我们就发现，问题还没完。我们目前还没有对D做约束，不难发现，无约束的话Loss基本上会直接跑到负无穷去了～

最简单的方案就是采用Lipschitz约束：

∥D(y,θ)−D(y′,θ)∥≤C∥y−y′∥

也可写作：

∥∥∥∂D(y,Θ)∂y∥∥∥≤C

注：Rudolf Otto Sigismund Lipschitz，1832～1903，德国数学家，先后就读于柯尼斯堡大学和柏林大学，导师Dirichlet。波恩大学教授。

WGAN

KL散度和JS散度由于不是距离，数学特性并不够好。因此，Martín Arjovsky于2017年1月，提出了Wasserstein GAN。

其中的一项改进就是使用Wasserstein距离替代KL散度和JS散度。Wasserstein距离的定义参看《机器学习（二十）》。

WGAN极大程度的改善了GAN训练困难的问题，成为当前GAN研究的主流。

参考：

https://zhuanlan.zhihu.com/p/25071913

令人拍案叫绝的Wasserstein GAN

GAN的发展

最早的GAN出现在2014年6月，但直到2015年底，也只有5个变种，发展并不迅速。

2016年，GAN开始发力，年底时已有52个变种。2017年6月底，更达到142个变种。

这里写图片描述

上图的源地址：

https://github.com/hwalsuklee/tensorflow-generative-model-collections

参考：

https://github.com/hindupuravinash/the-gan-zoo

GAN的各种变种。

参考

https://mp.weixin.qq.com/s/xa3F3kCprE6DEQclas4umg

GAN的数学原理

http://www.jianshu.com/p/e2d2d7cbbe49

50行代码实现GAN

https://mp.weixin.qq.com/s/YnOF9CCUFvtaiTY8HXYOuw

深入浅出：GAN原理与应用入门介绍

http://blog.csdn.net/u011534057/article/category/6396518

GAN系列blog

https://mp.weixin.qq.com/s/4CypEZscTfmUzOk-p_rZog

生成对抗网络初学入门：一文读懂GAN的基本原理

http://mp.weixin.qq.com/s/bzwG0QxnP2drqS4RwcZlBg

微软详解：到底什么是生成式对抗网络GAN？

https://mp.weixin.qq.com/s/oCDlhzjOYTIhsr5JuoRCJQ

IRGAN：大一统信息检索模型的博弈竞争

https://mp.weixin.qq.com/s/QacQCrjh3KmrQSMp-G_rEg

贝叶斯生成对抗网络

https://zhuanlan.zhihu.com/p/24897387

GAN的基本原理、应用和走向

https://mp.weixin.qq.com/s/E28lA-fcAQ6Sp6Qv64H3TQ

GAN in NLP

https://mp.weixin.qq.com/s/7-oHa-8Q8ThcctaVOZFfew

Facebook创意生成网络CAN，比GAN更有创造力

https://mp.weixin.qq.com/s/aSQ2-QxbToGF0ROyjxw2yw

萌物生成器：如何使用四种GAN制造猫图

https://mp.weixin.qq.com/s/YUMIL-f019vKpQ84mKS-8g

这篇TensorFlow实例教程文章告诉你GANs为何引爆机器学习？

http://mp.weixin.qq.com/s/UkZdUcdz7h4DqcyjSbNncw

zi2zi：用条件生成对抗网络玩转中文书法，绝妙汉字字体自动生成

http://blog.csdn.net/v_JULY_v/article/details/52683959

没GPU也能玩梵高作画：Ubuntu tensorflow CPU版

https://github.com/cysmith/neural-style-tf

TensorFlow (Python API) implementation of Neural Style.这个项目实现了两张图片的画风融合，非常牛。

https://github.com/jinfagang/pytorch_style_transfer

这个和上面的一样，不过是用pytorch实现的。

http://mp.weixin.qq.com/s/zNmJuevHaagKbyGFdKTwoQ

tensorflow实现基于深度学习的图像补全

https://zhuanlan.zhihu.com/p/25204020

条条大路通罗马LS-GAN：把GAN建立在Lipschitz密度上

https://zhuanlan.zhihu.com/p/27199954

用GAN去除动作片中的马赛克和衣服

https://zhuanlan.zhihu.com/p/27012520

从头开始GAN

https://mp.weixin.qq.com/s/Qzlg1MzRT3josy2RJpQSVg

Image to Image Translation Using GAN

https://mp.weixin.qq.com/s/AswdyjPeKbX7yhAPloP2og

基于对抗学习的生成式对话模型

https://mp.weixin.qq.com/s/uyn41vKKoptXPZXBP2vVDQ

生成对抗网络（GAN）之MNIST数据生成

https://mp.weixin.qq.com/s/sxa0BfXtylHXzjq0YBn-Kg

伯克利图像迁移cycleGAN，猫狗互换效果感人

https://mp.weixin.qq.com/s/aMfPBl6E5SxckQdSAGTkBg

Pytorch教程：Facebook发布的LR-GAN如何生成图像？

https://zhuanlan.zhihu.com/p/28342644

CycleGAN的原理与实验详解

https://mp.weixin.qq.com/s/YXWTslQXIKVihBb2Bgtafg

GAN在信息检索领域的应用

http://mp.weixin.qq.com/s/21CN4hAA6p7ZjWsO1sT2rA

一文看懂生成式对抗网络GANs：介绍指南及前景展望

https://mp.weixin.qq.com/s/YLys6L9WT7eCC-xGr1j0Iw

带多分类判别器的GAN模型

https://mp.weixin.qq.com/s/0tTLotV-8w2j3VdkH-qjCQ

让机器告诉你故事的结局应该是什么：利用GAN进行故事型常识阅读理解

https://mp.weixin.qq.com/s/lqQeCpLQVqSdJPWx0oxs2g

例解生成对抗网络

https://mp.weixin.qq.com/s/fMtuJbWG_d9zyCZ0oYyX_w

经得住考验的“假图片”：用TensorFlow为神经网络生成对抗样本

https://zhuanlan.zhihu.com/p/28488946

AI可能真的要代替插画师了……

https://mp.weixin.qq.com/s/OXN8Y5truLeslX8-UWgqmg

宅男的福音：用GAN自动生成二次元萌妹子

https://mp.weixin.qq.com/s/LAS0KgPiVekGdQXbqlw1cQ

深度学习的三大生成模型：VAE、GAN、GAN的变种

https://mp.weixin.qq.com/s/N7YU-YeXiVX7gSB-mzYgnw

生成式对抗网络GAN的研究进展与展望

https://mp.weixin.qq.com/s/gDzti2DISq_cwGbP5T7ICQ

聊聊对抗自编码器

https://mp.weixin.qq.com/s/3Aq1HXpBzgNdcB130tCKbQ

GAN网络图像翻译机：图像复原、模糊变清晰、素描变彩图

fine-tuning

fine-tuning和迁移学习虽然是两个不同的概念。但局限到CNN的训练领域，基本可以将fine-tuning看作是一种迁移学习的方法。

举个例子，假设今天老板给你一个新的数据集，让你做一下图片分类，这个数据集是关于Flowers的。问题是，数据集中flower的类别很少，数据集中的数据也不多，你发现从零训练开始训练CNN的效果很差，很容易过拟合。怎么办呢，于是你想到了使用Transfer Learning，用别人已经训练好的Imagenet的模型来做。

由于ImageNet数以百万计带标签的训练集数据，使得如CaffeNet之类的预训练的模型具有非常强大的泛化能力，这些预训练的模型的中间层包含非常多一般性的视觉元素，我们只需要对他的后几层进行微调，再应用到我们的数据上，通常就可以得到非常好的结果。最重要的是，在目标任务上达到很高performance所需要的数据的量相对很少。

虽然从理论角度尚无法完全解释fine-tuning的原理，但是还是可以给出一些直观的解释。我们知道，CNN越靠近输入端，其抽取的图像特征越原始。比如最初的一层通常只能抽取一些线条之类的元素。越上层，其特征越抽象。

而现实的图像无论多么复杂，总是由简单特征拼凑而成的。因此，无论最终的分类结果差异如何巨大，其底层的图像特征却几乎一致。

参考：

https://zhuanlan.zhihu.com/p/22624331

fine-tuning:利用已有模型训练其他数据集

http://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.html

Caffe fine-tuning微调网络

http://blog.csdn.net/sinat_26917383/article/details/54999868

caffe中fine-tuning模型三重天（函数详解、框架简述）+微调技巧

http://yongyuan.name/blog/layer-selection-and-finetune-for-cbir.html

图像检索：layer选择与fine-tuning性能提升验证

h1ttps://www.zhihu.com/question/49534423

迁移学习与fine-tuning有什么区别？

李飞飞

AI大佬

李飞飞是吴恩达之后的华裔AI新大佬。巧合的是，他们都是斯坦福AP+AI lab的主任，只不过吴是李的前任而已。

李飞飞（Fei-Fei Li），1976年生，成都人，16岁移民美国。普林斯顿大学本科（1995～1999）+加州理工学院博士（2001～2005）。先后执教于UIUC、普林斯顿、斯坦福等学校。

个人主页：

http://vision.stanford.edu/feifeili/

大佬的门徒

比如可爱的妹子Serena Yeung。这个妹子是斯坦福的本硕博。出身不详，但从姓名的英文拼法来看，应该是美国土生的华裔。Yeung是杨、阳、羊等姓的传统英文拼法，但显然不是大陆推行的拼音拼法。（可以对比的是Fei-Fei Li和Bruce Lee，对于同一个姓的不同拼法。）

个人主页：

http://ai.stanford.edu/~syyeung/

还有当红的“辣子鸡”：Andrej Karpathy，多伦多大学本科（2009）+英属不列颠哥伦比亚大学硕士（2011）+斯坦福博士（2015）。现任特斯拉AI总监。

吐槽一下：英属不列颠哥伦比亚大学其实是加拿大的一所大学。

个人主页：

http://cs.stanford.edu/people/karpathy/

Andrej Karpathy建了一个检索arxiv的网站，主要搜集了近3年来的ML/DL领域的论文。网址：

http://www.arxiv-sanity.com/

李佳（Jia Li），李飞飞的开山大弟子，追随她从UIUC、普林斯顿到斯坦福。目前又追随其到Google。大约是知道自己的名字是个大路货，她的笔名叫做Li-Jia Li。

个人主页：

http://vision.stanford.edu/lijiali/

antkillerfarm
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
L23模型微调fine tuning
雨人的博客
02-18 599
9.2 微调 在前面的一些章节中，我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1,000万的图像和1,000类的物体。然而，我们平常接触到数据集的规模通常在这两者之间。 假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子，为每种椅子...
深度学习笔记（一）：模型微调fine-tune
热门推荐
shine的博客
12-13 1万+
深度学习中的fine-tuning 一. 什么是模型微调 1. 预训练模型 （1） 预训练模型就是已经用数据集训练好了的模型。 （2） 现在我们常用的预训练模型就是他人用常用模型，比如VGG16/19，Resnet等模型，并用大型数据集来做训练集，比如Imagenet, COCO等训练好的模型参数； ( 3 ) 正常情...
从0学AI之精调（Fine-Tuning）
最新发布
m0_59235945的博客
05-28 655
预训练模型是一个已经在大规模数据集上训练过的模型。它类似于一个已经学会了很多知识的学生，但还没有针对特定科目进行深入学习。预训练模型可以用于各种任务，比如文本分类、图像识别等。
深度学习之模型finetuning
喵喵
04-26 1万+
深度学习 finetuning 模型
cs231n-(9)迁移学习和Fine-tune网络
KangRoger的专栏
02-18 6984
介绍适合fine-tune的场景，以及方法。
深度学习fine-tuning
RTM的博客
12-25 873
这篇博客是关于模型的微调的点击打开链接
深度学习之finetuning（微调）
AndyJ的学习之旅
05-11 1451
在深度学习中，通常会finetuning已有的成熟模型，再基于新数据，修改最后几层神经网络权值，为什么？ 实践中的数据集质量参差不齐，可以使用训练好的网络来进行提取特征。把训练好的网络当做特征提取器。 步骤 在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。我们还假设源模型的输出层跟源数据集的标签紧密相关，因此
openai/chatgpt微调/fine-tuning/测试用/投喂资源
03-06
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。 微调完毕后可以 -p 回答结果。 其中包含三四百条数据。 适合测试openai自定义模型的人群使用。
fine-tuning介绍
01-20
在深度学习领域，Fine-tuning 是一种非常关键的技术，它涉及到迁移学习，即利用已经在大规模数据集上训练过的预训练模型来改善特定任务的性能。这是因为对于许多实际问题，我们可能无法获得足够大的数据集来从零开始...
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果
06-09
为了进行微调，你需要首先解压文件，然后使用适当的深度学习框架（如PyTorch或TensorFlow）加载预训练模型和配置。接下来，利用提供的语音素材，按照配置文件设定的参数启动训练过程。训练期间，模型会不断更新权重...
VITS-fast-fine-tuning训练准备的样例数据，内容包含预训练模型、配置文件、语音素材等
09-12
"VITS-fast-fine-tuning"训练准备的样例数据是专为用户快速理解和实践模型微调流程而设计的。这份资料包提供了所有必要的元素，包括预训练模型、配置文件以及语音素材，使得用户无需从零开始就能对模型进行适应性...
Self-Play Fine-Tuning (SPIN)的实现
02-13
论文“Self-Play Finetuning Converts Weak Language Models to Strong Language Models”的官方实现代码 SPIN 利用自玩机制，允许 LLM 通过与以前的迭代进行博弈来改进自己，而不需要比 SFT 数据集本身更多的人工...
10.4 深度学习框架Caffe学习与应用-实践(Fine-tuning方法)、模型集成
wtj318_的博客
09-26 358
一、Fine-tuning方法 1、如果数据量有限，不要自己完全从头训练起caffe模型。先找相关的项目或者模型，先fintuning一下，之后再慢慢调整。 2、方法：learningrate（solver.prototxt）调低（为原来的十分之一），然后，把训练模型的最后一层或两层的学习速率调大一点。——也就是，把模型前面那些层的学习调低，使得参数更新的慢一点以达到微调的目的。 3、微调时...
[人工智能-深度学习-46]：FineTuning（微调）、Transfer Trainning（迁移学习）的理论基础与深度解析
文火冰糖（王文兵）的博客
11-14 1万+
第1张 前言：常见的工程诉求与特点 （1）数据集欠缺 个人的数据集小，无法提供向ImageNet这样的大数据集，但又想利用在ImageNet上训练的模型好的模型，为我所用，即基于在一些知名的数据集上训练好的模型，在进一步的训练，以满足自己的应用场景的需求，而无需重头开始训练。 （2）分类数多变 个人特定的应用，分类的种类与Image（1000种分类）等知名数据集的分类的种类不同，我们想在已经训练好模型的基础上，做适当的重新训练，以支持我们自己的分类数目，如100分类。 （3）防止过度训练，即过..
caffe深度学习（二）finetune
FlyYoung0709的博客
05-04 759
caffe深度学习finetune 转自Caffe fine-tuning 微调网络：http://www.cnblogs.com/xuanyuyt/p/6062204.html 一般来说我们自己需要做的方向，比如在一些特定的领域的识别分类中，我们很难拿到大量的数据。因为像在ImageNet上毕竟是一个千万级的图像数据库，通常我们可能只能拿到几千张或者几万张某一特定
CS231n李飞飞计算机视觉 迁移学习之物体定位与检测上
清风吹斜阳
02-09 464
迁移学习之物体定位与检测上 分类和定位 分类：给定一个图像，输入图像包含的对象的类别。 定位：给定一个图像，找到图像中对象所在的区域，即找出边界框。 数据集：一千个类别，每个类别有800张图像。 网络结构如上图，定位和分类可以同时训练也可以分别训练。 方法一：当做回归问题求解 分类是一个回归问题，可以将定位也当成回归问题，定位及找到对象所在边界框，边界框为方形，所以确定边界框的左...
迁移学习与Fine-tuning微调
weixin_43955293的博客
11-07 1397
fine-tuning介绍
【复现】deblurGAN: 用GAN使模糊图片变清晰(ECCV2018)
木盏
11-07 1万+
requirements: Linux Python3.6 Github地址：https://github.com/RaphaelMeudec/deblur-gan 直接用这个代码会有问题，因为作者升级了网络结构，但参数没有重训，所以无法直接加载预训练参数。只能重训，或者恢复到以前的模型。  所以，直接可以加载老版本的代码： https://github.com/RaphaelMeud...
vits-fast-fine-tuning
10-19
VITS（Variational Inference for Text-to-Speech）是一种端到端的文本到语音合成方法，它可以将文本转化为自然流畅的语音。VITS-Fast Fine-Tuning是对VITS模型进行快速微调的方法。 在传统的语音合成任务中，需要大量的语音对齐标注数据来训练模型。然而，这个过程非常耗时和昂贵。VITS-Fast Fine-Tuning的目标就是通过少量的标注数据来快速微调已有的VITS模型，以在新的任务上取得更好的性能。 VITS-Fast Fine-Tuning方法的关键在于使用变分推断（variational inference）来构建先验和后验分布。通过这个方法，我们可以使用其他大型语音合成数据集训练好的模型作为先验分布，然后使用少量目标任务的标注数据来估计后验分布。这样一来，我们就能够在新任务上快速微调VITS模型。 具体而言，VITS-Fast Fine-Tuning的过程分为两步。第一步是预训练，它使用大型语音数据集来训练VITS模型，并生成一个先验分布。第二步是微调，它使用目标任务的标注数据来调整VITS模型的参数，以获得更好的性能。由于预训练的先验分布已经包含了一定的知识，微调的过程可以更快速和高效。 总之，VITS-Fast Fine-Tuning是一种用于快速微调VITS模型的方法。它利用变分推断和预训练的先验分布，通过少量目标任务的标注数据来优化模型性能。这个方法可以加快语音合成模型的训练过程，降低训练的时间和成本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值