Diffusion模型应用
文章平均质量分 83
关注Diffusion在组学和医学中的应用
组学之心
PhD candidate/生物信息学/多组学/深度学习
展开
-
Diffusers的入门实操(很好玩)
上一篇推文介绍到,可以考虑用UNet类的模型,能够接收和输出相同shape的噪音图像。in_channels=3, # 输入的通道,RGB图像是3out_channels=3, # 输入的通道数layers_per_block=2, # 每个UNet块需要多少层RestNet"DownBlock2D", # ResNet下采样"AttnDownBlock2D", # ResNet下采样模块,有空间自注意力机制),"AttnUpBlock2D", # ResNet上采样模块,有空间自注意力机制。原创 2024-06-29 19:04:28 · 1072 阅读 · 0 评论 -
Diffusion(扩散模型)原理
–https://arxiv.org/abs/2006.11239留意后续更新,欢迎关注微信公众号:组学之心Diffusion(扩散模型)原理扩散模型的相关工作大都起源于 OpenAI 于 2020 年提出的降噪扩散概率模型(Denoising Diffusion Probabilistic Models,DDPM)。DDPM 包含前向过程(Forward Process)和逆向过程(Reverse Process)前向过程,称为扩散过程(Diffusion Process),本质上是在输入图像原创 2024-06-24 23:39:17 · 618 阅读 · 0 评论 -
Diffusion模型DDPM实操
*原创 2024-06-25 23:14:08 · 1073 阅读 · 0 评论 -
Diffusion模型的微调和引导
微调(fine-tuning):从一个已经训练过的模型开始训练,我们就可以从一个学会如何“去噪”的模型开始训练,相对于随机初始化的模型也许是一个更好的起点。如果新的数据和原来模型训练用的数据比较相似的死后,微调的效果会很好。引导(guidance):在生成模型中,如果没有提供特定的条件(比如图像的某些特征或文本的某些关键词),模型通常不能控制生成的内容。因此,我们可以训练一个“条件模型”,通过给模型额外的输入信息来控制生成过程。但是,如果我们使用的是一个没有条件的模型,该怎么实现相同的控制效果呢。原创 2024-07-04 21:27:52 · 337 阅读 · 0 评论