深度学习
文章平均质量分 88
深度学习
umbrellalalalala
一个普通的SCUer,2024太忙,尽量保持更新,咕咕咕
展开
-
无/自监督去噪(2)——Noise2Noise (N2N) 理论分析(从损失函数入手)
然而,它们的均值会受到离群点较大的影响,也许会明显低于150,因为均值要充分考虑离群点,进一步,极端情况下如果那10%的数字范围在-1000000000左右,那么最终求得的均值将会远远偏离150这个数量级,此时均值将不能描述这个样本集的基本状况。通过实验,作者说明无论从效果还是收敛速度的角度,在加性高斯噪声去噪任务中,有监督学习都是没有必要的。原作者的意思是这里的mean不代表correct answer,因为所添加的大量随机颜色的文字,经过叠加之后的平均值应该是中灰色这一RGB为0~255平均值的颜色。原创 2024-02-22 15:47:54 · 1727 阅读 · 1 评论 -
无/自监督去噪(1)——一个变迁:N2N→N2V→HQ-SSL
在N2V中,我们已经见识了盲点的思想,即像素的推测靠的是所有相邻位置的像素,但不包含自身位置的像素。在x中随机选取N个点,对每个点p,都随机用一个点的像素替换它(具体地,在以p为中心、以网络感受野为大小的区域,如上图(b),用该区域内的一个随机像素(蓝色)替换中心像素(红色))。N2N的训练数据是相同场景的两次不同noisy observation组成的pair,实际使用的时候,两次不同的观测很难是相同场景的。上文所述,我们将Input中心像素点挖掉,并让网络的输出和完整的Input做loss。原创 2024-01-16 22:52:30 · 1369 阅读 · 2 评论 -
Semi-supervised Learning入门学习——Π-Model、Temporal Ensembling、Mean Teacher简介
通过对两篇经典论文的简单解读,简要介绍Π-Model、Temporal Ensembling、Mean Teacher。欢迎交流,喜欢的话请点赞关注,之后持续更新。原创 2022-06-15 12:57:18 · 1644 阅读 · 1 评论 -
如何利用对比学习做无监督——[CVPR22]Deraining&[ECCV20]Image Translation
知乎同名账号同步发布。目录0,参考文献和前置知识和阅读注意1,[ECCV20]Contrastive Learning for Unpaired Image-to-Image Translation1.1,创新点和架构1.2,multi-layer、patchwise的对比学习0,参考文献和前置知识和阅读注意参考文献本文通过两篇paper,简述一下如何利用对比学习做无监督。(ECCV20)Contrastive Learning for Unpaired Image-to-Image Tra原创 2022-03-31 21:43:35 · 6222 阅读 · 12 评论 -
无监督去噪——[TMI2022]ISCL: Interdependent Self-Cooperative Learning for Unpaired Image Denoising
知乎同名账号同步发布这是一个unpaired的方法,也就是有很多noisy images,有很多clean images,但一对noisy-clean images内容上不是配对的。目录前置知识模型架构实验小结前置知识需要了解CycleGAN的知识,可以去b站看李宏毅的课,CycleGAN那一讲只有20分钟,讲的非常清楚。模型架构假设你已经懂了CycleGAN的原理,那么就可以去注意ISCL的核心词汇:self-cooperative。模型架构如下:上图中的F和G是CycleGAN原本就有的原创 2022-03-25 21:24:16 · 6183 阅读 · 0 评论 -
去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
知乎同名账号同步发布今天看一篇自监督图像去噪论文:题目:Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spotspaper:https://arxiv.org/abs/2203.06967code:https://github.com/demonsjin/Blind2Unblind目录前置知识创新点模型架构inference阶段实验前置知识需要了解Noise2Void,如果不了解,可以看我写的笔记。看完原创 2022-03-24 16:20:37 · 7203 阅读 · 8 评论 -
对比学习论文——[MoCo,CVPR2020]Momentum Contrast for Unsupervised Visual Representation Learning
目录对比学习简述MoCo的创新动机loss function:InfoNCEMoCo的流程伪代码其他细节实验和结论对比学习简述假设由三张图片,其中两张是人,一张是狗。将三张图片都通过同一个神经网络,得到特征空间中的三个特征f1f_1f1,f2f_2f2,f3f_3f3,假设前两个是人对应的特征,后一个是狗对应的特征。对比学习要做的就是让f1f_1f1和f2f_2f2在特征空间中尽可能接近,并且两者都要和f3f_3f3保持距离。要注意这三张图片都是无标签的,但是对比学习需要知道哪两张是类似的原创 2022-03-21 22:58:46 · 655 阅读 · 1 评论 -
LDCT图像重建论文——Eformer: Edge Enhancement based Transformer for Medical Image Denoising
Eformer是进行低剂量CT图像重建的工作,它第一次将Transformer用在医学图像去噪上,ICCV2021的paper,值得一读原创 2022-01-07 12:34:51 · 3127 阅读 · 4 评论 -
图像恢复论文简记——Uformer: A General U-Shaped Transformer for Image Restoration
所谓LeWin Transformer,就是local-enhanced window Transformer,其中包含W-MSA和LeFF(前者是本工作创造,后者是前人工作CeiT(Incorporating Convolution Designs into Visual Transformer)创造)原创 2022-01-06 13:41:26 · 6090 阅读 · 0 评论 -
深度学习基础——简单了解meta learning(来自李宏毅课程笔记)
一、初步了解我们以分类问题为例,以前,学习的目的是学习一个二元分类器f∗f^*f∗;现在,学习的目的是学习一个学习算法F,这个学习算法F能够学习一个二元分类器f∗f^*f∗。既然要直接学习一个学习算法F,那么就要考虑它的参数。以往的学习,是为了学习一个具体的二分类器f∗f^*f∗,假设人为指定的学习算法是感知机,那么学习的过程需要改进的参数就是www和bbb。现在进行meta learning,目的是直接去学习学习算法F,那么需要关注的参数(上图中以“component”表示)就是网络架构、初始化参数原创 2021-11-11 15:59:59 · 1640 阅读 · 0 评论 -
图像恢复论文——[RED-Net, NIPS16]Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks wi
知乎同名账号同步发表目录一、架构二、main contribution三、一些讨论四、训练&模型功能&一些比较五、小结一、架构论文全称:Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections其实就是conv和deconv,外加对称的skip connection。作者表示每两层就会有一个skip connection。作者的意思原创 2021-10-18 14:53:08 · 757 阅读 · 2 评论 -
去噪论文阅读——[RIDNet, ICCV19]Real Image Denoising with Feature Attention
一、架构参数详解这部分先讲架构,下部分讲架构中比较关键的部分的motivation。网络架构的细节已经标注在图中了。图的上半部分是总架构,下半部分是单独一个EAM的架构。输入noisy image,输出noise-free image。作者将架构分为了三个module:feature extraction: f0=Me(x)f_0=M_e(x)f0=Me(x),只有一层。feature learning residual module: fr=Mfl(f0)f_r=M_{fl}(f_0)原创 2021-10-18 13:13:33 · 1574 阅读 · 2 评论 -
深入理解去噪论文——FFDNet和CBDNet中noise level与噪声方差之间的关系探索
问题来源读这两篇文章的时候,发现文中AWGN(加性高斯白噪声)的方差用σ²表示,noise level用σ表示,符号使用似乎出现了冲突;又发现作者默认已知噪声模型N(0,σ2)N(0, \sigma^2)N(0,σ2),生成的含噪声图像的ground-truth的noise level似乎也随之确定,一切都在暗示AWGN的方差和其noise level有千丝万缕的关系。一、基础知识和生成AWGN步骤引用这篇文章对matlab生成AWGN的讲解,补充一些基础知识:awgn(x,snr,’measur原创 2021-10-10 16:08:58 · 3087 阅读 · 0 评论 -
PyTorch笔记——通过搭建ResNet熟悉网络搭建方式(完整代码)
参考资料:《深度学习框架PyTorch:入门与实践》注意:书籍作者表示要注意编程简洁,所以本文的网络搭建方式是可以借鉴的。目录完整代码测试前向传播完整代码部分讲解见注释:from torch import nnimport torch as tfrom torch.nn import functional as F# 实现子module:Residual Blockclass ResidualBlock(nn.Module): def __init__(self, in原创 2021-08-29 15:44:03 · 292 阅读 · 0 评论 -
PyTorch笔记——观察DataLoader&用torch构建LeNet处理CIFAR-10完整代码
参考资料:《深度学习框架PyTorch:入门与实践》目录一、简单numpy例子观察DataLoader二、两种方式加载CIFAR-10数据方式1,用torchvision自动下载CIFAR-10方式2,自行下载CIFAR-10三、观察CIFAR-10数据集的size四、LeNet处理CIFAR-10完整代码一、简单numpy例子观察DataLoader创建数据,显示它的shape:import numpy as npdata = np.array([[1,1,1,1],原创 2021-08-26 13:50:37 · 350 阅读 · 1 评论 -
PyTorch入门笔记——RNN写诗(含藏头诗)程序代码学习笔记
目录注意事项一、数据介绍二、opt对象三、data.py四、☆model.py五、utils.py封装可视化操作,略六、main.py了解`torch.utils.data.DataLoader()`的大致作用:注意`torch.nn.CrossEntropyLoss()`输入参数的size完整的train函数了解`topk`的作用使用模型——生成诗歌使用模型——生成藏头诗`gen()`函数注意事项注意:本文代码来源《深度学习框架PyTorch:入门与实践》,点击书名跳转到对应GitHub。作为从Te原创 2021-08-23 16:26:15 · 3217 阅读 · 4 评论 -
Tensorflow+Keras入门——利用mnist手写数字识别快速入门Keras
本文简介基于Keras+Tensorflow,利用Lenet-5模型的mnist手写数字识别的完整程序和代码分析。适合想要入门Keras的新手。博主由于很久没碰Tensorflow,很多代码都报了类似WARNING:tensorflow:From /someplace/xx.py:xxx: xxx is deprecated and will be removed in a future ve...原创 2019-01-11 17:41:32 · 4241 阅读 · 0 评论