用DCGAN与VAE合成脑MR影像

最新推荐文章于 2024-03-14 19:40:21 发布
最新推荐文章于 2024-03-14 19:40:21 发布
阅读量699 收藏 1
点赞数
分类专栏： GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26020233/article/details/102883601
版权

本文做了两个小实验，分别利用两个经典的生成模型（DCGAN与VAE）来合成脑影像；使用pytorch，全部代码见github；实验设备，NVIDIA 1080Ti；

训练数据

脑影像使用Brats18 公开数据集的T2模态；提取axial面的240X240大小2d 切片，resize成128X128大小；保存为.npy文件。

数据集示例

在这里插入图片描述

VAE

网络结构

在这里插入图片描述

损失函数

第一项重建误差，第二项KL loss；

最低0.47元/天 解锁文章
hellopipu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TensorFlow-VAE-GAN-DRAW：使用TensorFlow（深度卷积生成对抗网络（DCGAN），变分自编码器（VAE）和DRAW：用于图像生成的递归神经网络）实施的生成方法的集合
02-06
TF-VAE-GAN-DRAW ，和TensorFlow实现。 跑 VAE / GAN： python main.py --working_directory /tmp/gan --model vae 画： python main-draw.py --working_directory /tmp/gan 深度卷积生成对抗网络在使用默认参数的10个星期后产生了不错的结果。 ＃＃＃去做： 更复杂的数据。 添加 用空间变压器层替换当前的注意力机制
【读点论文】DCGAN，生成对抗网络与深度卷积的结合
白水空空
12-21 1911
下采样（subsampled） 下采样实际上就是缩小图像，主要目的是为了使得图像符合显示区域的大小，生成对应图像的缩略图。比如说在CNN中得池化层或卷积层就是下采样。不过卷积过程导致的图像变小是为了提取特征，而池化下采样是为了降低特征的维度。 上采样（upsampling） 有下采样也就必然有上采样，上采样实际上就是放大图像，指的是任何可以让图像变成更高分辨率的技术，这个时候我们也就能理解为什么在(G)网络中能够由噪声生成一张图片了。 反卷积(Deconvolution) 反卷积(Deconvol
生成对抗网络DCGAN学习
UE4引擎技术分享
07-30 1030
在AI内容生成领域，有四种常见的AI模型技术：GAN、VAE、Flow、Diffusion。其中，Diffusion是较新的技术，相关资料较为稀缺。VAE通常更多用于压缩任务，而GAN由于其问世较早，相关的开源项目和科普文章也更加全面，适合入门学习。
针对BraTS2018~2020的项目经验总结
步履不停
07-28 4735
自从4月份成功部署模型，实现自动分割算法落地应用后，便马不停蹄地致力于改进网络，提高分割精度，期间学习并复现了几种网络与实现了三维体数据的DataLoader和Cropping，记录一下以便不时之需； BraTS2018-No.1网络结构编码路径-卷积块解码路径--卷积块下采样Trick: VAE实现 网络结构 首先BraTS2018第一名方案的backbone与CNN类似，不同的是加入了decoder和VAE路径，前者结合Unet的skip concat作解码，还原到与原图像size相等的patch后，在
Brats(脑肿瘤分割)2018/2019第1名分割方案
gefeng1209的博客
10-26 1万+
数据集简单介绍 训练集：335，验证集：125，测试集：166 标签图上的3个独立区域类别：ET(enhancing tumor)+ED(peritumoral edema)+NET(non-enhancing tumor) 评价时的3个有重叠的区域：WT(Whole Tumor)+TC(ET+NET)+ET 模态：T1,...
Advanced_Models:提供了几种流行的神经网络模型。 （DCGAN、VAE、Resnet等）
05-31
Advanced_Models ... 可用模型：DCGAN、CGAN、SA-GAN、GAN、Resnet、VAE、多头注意力、GPT-2 VAE 如果您需要为模型建立一个概念，请转到下面的链接。 生成网络 如果您需要为模型建立一个概念，请转到下面的链接。
rna-seq-vae：使用变分自动编码器生成合成基因表达数据
02-26
该项目旨在使用生成模型生成合成基因表达数据。 我们首先研究数据的3D表示形式以及可能要依据的变量，以便有效地分离分布。 当前模型以组织为条件。 组织着色的GTEx数据集（1000个随机基因）的3D表示形式（UMAP，...
AE（自动编码器）与VAE（变分自动编码器）的区别和联系？
02-28
PPT
VAE_model_MNIST.zip
10-17
使用VAE模型对MNIST数据进行建模，可以学习到数字的潜在表示，同时通过解码器从潜在空间中随机采样，生成新的手写数字图像。 **编码器**通常是一个神经网络，它将输入图像转化为一个潜在变量的均值（mean）和方差...
BraTs脑肿瘤分割结果不同组织上色
qq_35385569的博客
05-25 1192
最近开始为写小论文做准备，其实自己的代码能力很差，写下这篇博客希望对志同道合的朋友有帮助 。 自己太菜了，参考了很多其他博主的算法，始终没有找到合适的，自己也搞了2,3天，也走了很多弯路，但是能够做出来，还是很开心心啦~，记录下自己的第一篇CSDN 脑肿瘤分割的目标是分割出整个肿瘤（wt）、肿瘤核心区域（ct）和肿瘤增强区域（et）。有很多网络，是一个输出结果同时带有3个标签。由于我的网络结构的输出结果是3个独立的脑肿瘤二值分布图（背景=0，目标=1），所以想要展示整体结构，需要将3个分割结果整合到一张图像
IntroVAE Introspective Variational Autoencoders for Photographic Image Synthesis
10-10
近日，自动化所智能感知与计算研究中心提出一种新的深度生成模型——自省变分自编码器(Introspective Variational Autoencoder，IntroVAE)，用来实现高清图像等高维数据的无条件生成(unconditional generation)。该模型一方面在不引入额外的对抗判别器的情况下，克服了变分自编码器固有的合成图像趋于模糊的问题；另一方面在不使用常用的多阶段多判别器策略下，实现了高分辨率图像合成的稳定训练。实验结果表明，该模型不仅能够稳定生成高分辨率照片级图像(比如1024x1024的人脸图像)，而且在生成模型常用的量化指标上取得了目前最好的结果。
AE/VAE/DDPM对比分析
liguandong
03-13 562
这里的扩散的思路和vae是一致的，vae通过变分后验（学出来的）将样本数据转到高斯分布，再通过生成器将高斯分布转到生成样本，扩散的核心思路就是通过一种简单的变分后验将样本转到高斯，再慢慢一步一步的将高斯转到原始数据空间，一种简单的变分后验对应的就是去噪过程，生成器的一步一步扩散对应的就是加噪过程，无参的加噪过程非常容易，把数据分布映射到高斯分布非常容易，我们只需要构造一个平稳分布是标准高斯分布的马尔科夫链即可。======================…图片的上面部分是去噪，上面部分是加噪。
【学习笔记】文生图模型——三、VAE原理篇
最新发布
HanYMR的博客
03-14 2307
参考：论文、李宏毅老师视频、其他人写的文章
Stable Diffusion 笔记一：网络结构拆解
朱小丰的博客
01-26 1293
VAE编码器的部分作用是将像素图片编码转为潜空间图片，SD在此潜空间图片上进行迭代生成，迭代后的图片再由VAE解码器部分转换成像素级图片。SD生成的图片是潜空间图片（Latent image）而不是直接使用的图片（Pixel image）。每一个数字转换成768维的向量。像素图片是正常使用的图片，通常包含主体的物体人物角色，和多余的部分空白背景等与主体无关的噪声。潜空间图片可以理解为是像素图片在高维空间的另一种表达，是像素图片的一种压缩表示。交叉注意力模块的输入一部分是自己，另一部分是其他的一些信息。
三大深度学习生成模型：VAE、GAN及其变种
热门推荐
CSDN 人工智能
08-09 6万+
编者按：本书节选自图书《深度学习轻松学》第十章部分内容，书中以轻松直白的语言，生动详细地介绍了深层模型相关的基础知识，并深入剖析了算法的原理与本质。同时还配有大量案例与源码，帮助读者切实体会深度学习的核心思想和精妙之处。 本章将为读者介绍基于深度学习的生成模型。前面几章主要介绍了机器学习中的判别式模型，这种模型的形式主要是根据原始图像推测图像具备的一些性质，例如根据数字图像推测数字的名称，根...
Stable Diffusion 系列教程 - 2 WebUI 参数详解
认真努力，做一只会飞的毛毛虫。
12-06 1590
SwinIR 4x：使用SwinTransformer模型，拥有局部自适应的内容，更好的提取可特征，提高图像细节，保证放大图片真实感稳定训练，很全面却没有一方面超过别的算法。ESRGAN 4x：它是ESRGAN算法的一种改进版本，可以将低分辨率的图像通过神经网络模型增强到4倍的分辨率，在增强图像的细节信息和保留图像质量方面有了明显的提升。Nearest：非常传统的归类找近似值的方法，计算新的东西和旧的东西的相似度，以最相似的内容去出图，大数据时效果好，实际一般。目前最实用，最优的选择，更贴合真实效果。
VAEGAN：理解 VAE 与 GAN【图像生成】
简单记录生活、学习
10-30 4590
VAEGAN：理解 VAE 与 GAN【图像生成】
图片是如何生成的--图像生成模型（GAN、VAE、扩散模型）简介
薇酱的博客
06-24 6505
本文简单介绍了下图像生成相关的一些模型。本来想从吴恩达的deepai课程开始写的，但是感觉还是不够简单，推荐跟着李沐学AI里的DALL·E 2，我个人觉得讲的蛮清楚的。，从28分开始讲解。
StableDiffusion模型在PCIE上的迁移与精度对齐
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
11-01 2869
Stable Diffusion模型在PCIE上的迁移与精读对齐

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值