李宏毅机器学习2023|图像生成模型

最新推荐文章于 2024-04-10 17:27:09 发布
最新推荐文章于 2024-04-10 17:27:09 发布
阅读量1.4k 收藏 24
点赞数 26
文章标签： 机器学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57290240/article/details/135209490
版权

文章目录

图像生成

机器需要大量的脑补

Autoregressive（各个击破）Non-Autoregressive（一次到位）

直接把图片的像素拉直，当成文字那样处理。
但是这样太耗时

一次到位法

因为每一个像素独立绘制，因此效果不好

额外的输入——从一个高维的Normal Distribution作simple得到一个向量

在这里插入图片描述

常用的图片生成模型

VAE

怎么样去找一些成对的训练集？使用Encoder产生。（图中省略了输入文字）
在这里插入图片描述

Flow-based Generative Model

因为Encoder必须是Invertible的，因此输出的vector的维度必须和输入的一样。（图上没画好）
在这里插入图片描述

Diffusion Model

在这里插入图片描述

GAN

只learn decoder没有learn encoder。
Decoder要做的就是调整他自己，让判别器表现得越差越好。

Diffusion Model

这里的Denoise都是同一个model
在这里插入图片描述

denoise model里实际内部做的事情

在这里插入图片描述

如何训练Noise Predictor

从哪获取训练资料——怎么找到杂屑的ground truth？这是人类自己创造的
加噪音——Forward Process（Diffusion Process）
在这里插入图片描述

怎么把文字考虑进来

数据集：LAION-5b
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
来源论文：Denoising Diffusion Probabilistic Models

Stable Diffusion

现在最好的图像生成模型由三个元件组成：
1、Text Encoder
2、Generation Model（Stable Diffusion或者其他）
3、Decoder
三个元件分开训练再合起来
在这里插入图片描述

常见的图生文模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

组成部分

text encoder

encoder对结果影响很大，相对而言diffusion model（这里指那个noise predicter的大小）对结果影响就不大。
在这里插入图片描述

Generation Model

杂屑不是加在图片上，而是加在中间产物上
在这里插入图片描述
在这里插入图片描述

Decoder

训练时不需要labelled data
在这里插入图片描述
在这里插入图片描述

评估指标

FID

越小越好
在这里插入图片描述

CLIP Score

越大越好
在这里插入图片描述

小居快跑
关注
机器学习笔记 - 基于Torch Hub的DCGAN图像生成 + 调用自定义网络模型
学以致用 知行合一
05-03 825
Pytorch Hub 是一个预训练模型存储库，旨在促进研究的可重复性。Torch Hub 允许您发布预先训练的模型，以帮助促进研究共享和可重复性。 Torch Hub 在其官方展示中总共纳入了48个研究模型(目前为止)。音频模型8个、生成式模型2个、自然语言处理 (NLP)3个、可编写脚本20个、视觉模型等等。这些模型还在基准数据集（例如Kinetics 400和COCO 2017）上进行了训练。
深度学习-李宏毅PPT总结
dinie9454的博客
08-21 1958
前言： 　　深度学习话题十分火热，网上的资料也非常多，这的确很头疼，太容易迷失。个人认为寻找大牛的授课ppt作为入门方式就可以，跟随大牛的脚步先画出一条直线，再补充骨肉。Anyway,这篇文章十分适合机器学习初学者迅速了解深度学习，了解清楚什么是深度学习，如何做及现在最火的卷积神经网络。 教材链接：李宏毅 Let us rock！ 1.什么是机器学习 机器...
【自回归视觉生成（VAR）】Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Arachis_X的博客
04-10 1891
视觉自回归模型（VAR）将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。我们提出了**视觉自回归建模（VAR）**这一新一代范式，它将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并具有良好的泛化能力：VAR 首次使 AR 模型在图像生成方面超越了扩散变换器。
掌握PyTorch中的图像生成技术
程序员光剑
01-28 781
1.背景介绍 图像生成技术是计算机视觉领域的一个重要分支，它可以帮助我们生成更加真实、高质量的图像。随着深度学习技术的发展，图像生成技术也逐渐成为了深度学习的一个重要应用领域。PyTorch是一个流行的深度学习框架，它提供了许多用于图像生成的工具和库。在本文中，我们将深入了解PyTorch中的图像生成技术，掌握其核心概念和算法原理，并通过具体的实例和代码来学习如何使用这些技术。 1. 背景介绍...
机器学习_深度学习毕设题目汇总——图像生成
MetaGrad的博客
02-07 3048
下面是该类的一些题目： 题目 基于生成式对抗网络的无监督图像生成研究 用于图像生成的机器学习算法在人像合成中的研究与应用 可抵抗相机抖动的高动态图像生成算法研究 图像生成诗歌的端到端模型研究 基于GANs的脑部MRI图像生成方法研究 基于GAN的图像生成算法研究 基于GAN的海面目标图像生成和效果评价 基于分离表示的人脸图像生成 基于卷积神经网络的单曝光HDR图像生成方法研究 基于反馈LSTM与注意力机制的图像生成描述算法的研究与实现 基于姿态引导的人
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
《李宏毅2020机器学习作业3：Python实现深度学习基础》 在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和...
李宏毅机器学习笔记-生成模型和逻辑回归
iwill323的博客
10-18 1947
李宏毅机器学习笔记-生成模型和逻辑回归
使用VAE生成宝可梦，李宏毅机器学习。.zip
最新发布
04-17
机器学习在图像识别、目标检测、人脸识别、图像分割等方面有着广泛的应用。例如，通过深度学习技术，可以训练神经网络来识别图像中的对象、人脸或者场景，用于智能监控、自动驾驶、医学影像分析等领域。 自然语言...
机器学习 —— 李宏毅机器学习笔记（五）—— 概率生成模型
ProQianXiao的博客
03-19 7377
概率生成模型 概率生成模型，简称生成模型（Generative Model），是概率统计和机器学习中的一类重要模型，指一系列用于随机生成可观测数据的模型。生成模型的应用十分广泛，可以用来不同的数据进行建模，比如图像、文本、声音等。比如图像生成，我们将图像表示为一个随机向量X，其中每一维都表示一个像素值。假设自然场景的图像都服从一个未知的分布pr(x)，希望通过一些观测样本来估计其分布。也就是说...
​李宏毅机器学习——对抗生成网络（GAN）
iwill323的博客
10-24 2579
​李宏毅机器学习——对抗生成网络（GAN）
机器学习练习二——GAN算法生成图像
weixin_52296952的博客
11-18 943
机器学习联系二——GAN算法生成图像
机器学习根据文字生成图片教程（附python代码）
Garvin的专栏
09-05 1万+
背景 其实在过往我们生活的世界里，当人们需要获取信息的时候，更多地强调的是信息的检索和遍历，意味着去已经存在的物品中找到自己合适的。在我看来这是一种很低级的生活形态，比如我的意识中有一个某种图案的杯子，想要它，只能打开淘宝根据标签去找已经设计好的款式有没有相近的，而不能直接根据我的想法自动生成一个我需要的杯子。 又比如，我想要一张猫正在喝水的照片，只能去搜索引擎里去根据关键词搜索已经存在的...
用机器学习生成图片：GAN的局限性以及如何GAN的更爽
CSDN人工智能头条
09-21 4009
大家好，我是为人造的智能操碎了心的智能禅师。又到了 Weekend Eve，大家应该都出去玩了吧？看到今天的标题还敢点进来看的人，禅师敬你是个肥宅。肥宅永远快乐。今天转载...
机器学习实验四：深度学习图像生成Q&A（Part one：图像风格迁移）
蓝多多的小仓库
10-23 988
不许截图我的白鹿嗷！ 写在前面： 感谢大家的关注。在此声明：博客的本意是供自己存档实验报告，同时便于同学之间相互交流遇到的问题。 欢迎大家评论和私信自己遇到的问题和解决方案，让我们共同进步。 VGG19模型文件及实验用图下载地址（无需积分，直接下载，如遇404说明资源在审核，csdn审核为2-10个工作日）： https://download.csdn.net/download/qq_43554335/34058130 下面是我在调试代码过程中遇到的一些问题及解决方案，希望对您有所...
机器学习实验四：深度学习图像生成（Part two：DeepDream）
蓝多多的小仓库
10-23 2488
关于这个警告：Instructions for updating: Colocations handled automatically by placer.不必理会。网上给了一种解释： 其它的没啥，文章设置成转载了，代码是实验指导书上的，指导书来源姜老师，仅供学习存档。（代码修改参照Part one即可） 模型文件及图像下载链接（无需积分，直接获取下载码即可免费下载，如遇404说明资源在审核中）： https://download.csdn.net/download/qq_43554335/340
机器学习 李宏毅 L28L29-Deep Generative Model
okgagaga的博客
02-02 1157
生成模型1： Pixel RNN 产生图像时，每次产生一个像素点。也就是，训练一个网络，输入为一个三维的vector，输出为另外一个三维的vector。可以使用Pixel RNN进行图像生成、语音生成等。 如果需要练习，可以提供该课程提供的792个Pokemon突袭那个，图像为20*20大小,数据库地址。实验结果如下图： 生成模型2： VAE (Variational Aut
能生成逼真图像的不只有 GAN
机器学习算法与Python学习
06-07 2379
本文由机器之心编译去年 9 月，BigGAN 横空出世，被誉为「史上最强 GAN 生成器」，其逼真程度众多研究者高呼「鹅妹子嘤」！相关论文也被 ICLR 2019 接收为...
[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1）
Holeung blog
06-22 5814
[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1） PDF VIDEOCreation 据说在费曼死后，人们在他生前的黑板上拍到如图画片，在左上角有道：What i cannot create ,I do not understand. Generative models,就是在做创造的事情。 Imag
张长水：机器学习与图像识别
热门推荐
mustar_2017的博客
06-10 2万+
http://www.cbdio.com/BigData/2015-12/23/content_4371155.htm 本讲座选自清华大学自动化系张长水老师于2015年11月26日在 RONG v2.0---图形图像处理与大数据技术论坛上所做的题为《机器学习与图像识别》的演讲。 　　张长水：我的题目叫《机器学习和图像识别》。我主要在做机器学习，不知道在座的听
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值