- 博客(248)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 transdreamer 论文阅读笔记
这篇文章是对dreamer系列的改进，是一篇world model 的论文改进点在于，dreamer用的是循环神经网络，本文想把它改成transformer，并且希望能利用transformer实现并行训练。改成transformer的话有个地方要改掉，dreamer用ht和xt来预测zt，但transformer要实现并行训练的话，最好是不要有ht，因为ht依赖transformer来预测，而transformer又需要zt作为输入，形成循环依赖就只能一步一步地生成。为此，把zt的预测改成只依赖于
2024-06-18 20:12:47
379
1
原创 Repetition Improves Language Model Embeddings论文阅读笔记
文章提出了一种提高decoder-only LLM的embedding能力的方法，叫echo embeddingslast-token pooling（即直接选最后一个token作为句子的embedding）和直接mean pooling都不如文章提出的echo embedding，做法是把句子重复两次，然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分，last-token pooling是太强调句子的后面部分，而重复两次后，第二次的句子的起始
2024-06-18 15:46:07
443
原创 GRIT论文阅读笔记
一篇试图统一生成任务和编码任务的工作，就是把只能完成生成任务的GPT改成既能生成又能encode。思路其实很简单，就是在输入的时候添加instruction tokens来指引模型做representation还是generation，然后各自算损失。representation任务用的是document和query的对比学习。把最后一层的token给mean pooling（只对word tokens做，不对instruction做）出一个embedding算对比损失，做generation的时候就
2024-06-18 15:21:45
288
原创 SGPT论文阅读笔记
这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。CE的意思是在做阅读理解任务时，document和query是一起送进去，中间加个SEP token来做的，典型的是BERT。而GPT一般不是，但作者觉得GPT也可以是。也就是说，如果有k个document和一个新的query，需要把这个query和这k个document分别conca
2024-06-18 14:56:06
481
1
原创 LLM2Vec论文阅读笔记
这是篇LLM论文，用decoder-like的LLM去提取embedding文章认为，decoder-like的LLM在text embedding task表现不优的一大原因就是其casual attention mechanism，其实就是mask的问题。所以只要对现有的decoder-only LLM进行如下三步改进，就将pre-trained decoder-only LLM into a universal text encoder：双向注意力，就是取消掉MSA的mask，用全1的mas
2024-06-18 12:49:40
422
原创 TWM论文阅读笔记
lzarzahthtrtγtzt1pf3l−1lhtrtdtγγγγγt0γtγγ0γototzthtzt。
2024-06-17 20:16:35
813
1
原创 STORM论文阅读笔记
这是篇NIPS2023的 world model 论文文章提出，WM的误差会在训练过程中积累从而影响policy的训练，向WM中加噪声可以改善这一点。其他的流程和IRIS差不多，差别在以下几点：image encoder，IRIS用的VQVAE, 本文用的是VAE，用VAE的采样方式来生成zt，从而为zt加噪声。sequence model，IRIS用GPT循环输出image的每个token，本文直接用MLP把生成的 ztz_tzt 和动作 ata_tat 输出成一个token，这样GPT
2024-06-17 17:03:07
779
原创 PromptIR论文阅读笔记
MZUAI和IIAI在NIPS2023上的一篇论文，用prompt来编码degradation，然后用来guide restoration network，使得模型能够泛化到不同degradation types and levels，也就是说是一个模型一次训练能够应对多种degradation的unified model。文章分析，对每种degradation都要train一个模型是compute-intensive and tedious process, and oftentimes impra
2024-05-30 12:19:28
554
1
原创 DiffIR论文阅读笔记
ICCV2023的一篇用diffusion模型做Image Restoration的论文，一作是清华的教授，还在NIPS2023上一作发表了Hierarchical Integration Diffusion Model for Realistic Image Deblurring，作者里甚至有Luc Van Gool大佬。模型分三个部分，一个是CPEN用来提取IPR，一个是DIRformer，用来完成restoration任务，一个是denoising network，用diffusion的方式来预
2024-05-29 12:20:29
504
原创 DA-CLIP论文阅读笔记
这是ICLR2024的一篇用VLM做multi-task image restoration的论文首页图看起来就很猛啊，一个unified模型搞定10个任务：文章的贡献点主要是两个，一个是提出一个利用Image Controller，CLIP，cross-attention 和 diffusion restoration network 来实现 unified image restoration 的框架，一个是提出了一个数据集，有10种 degradation types 同时配有 hig-qua
2024-05-25 16:55:06
979
原创 Selective Hourglass Mapping for Universal Image Restoration Based on Diffusion Model 论文阅读笔记
这是CVPR2024的一篇论文，通讯作者是中大计院的郑伟诗教授，用diffusion做通用image restoration模型。文章声称有两个创新点，一个是把条件（即LQ图片）concatenate到diffusion target上，从而实现了strong condition guidance；一个是shared distribution term。贡献是仅仅改变了mapping strategy就可以提高在通用任务上的性能，仅仅使用现有大模型1/5的参数量就能达到超过他们的效果。同时为了实际应
2024-05-25 10:33:26
864
1
原创 RDDM论文阅读笔记
CVPR2024的残差去噪模型。把diffusion 模型的加噪过程分解为残差diffusion和noise diffusion，其中残差diffusion模拟从target image到degraded image的过程，而noise diffusion则是原来的diffusion过程，即从图片到高斯噪声的加噪过程。前者可以看作是对应restoration，后者对应generation。通过这一设计，仅用一个Unet，bs为1，用L1 Loss即可train一个sota的restoration模型。
2024-05-24 22:39:49
886
原创 计算psnr ssim niqe fid mae lpips等指标的代码
【代码】计算psnr ssim niqe fid mae lpips等指标的代码。
2024-04-10 21:02:17
295
原创 Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising 论文阅读笔记
文章两个模块的动机是，如果噪声具有空间相关性，那么越远的地方具有噪声相关信息的可能性就越小，那么相比blind-spot取相邻像素点导致噪声相关信息干扰，文章提出blind neighborhood，取远一点，孔洞大一点，就减弱了噪声空间相关性导致的影响。LAN的输入还是噪声图片，gt是BNN的输出。但是，BNN的输出丢失了细节信息，所以用上面的公式来对区域进行加权，细节丢失严重的区域，损失的权重较低，也就是鼓励LAN在平坦的区域像BNN一样去噪，在其它区域正常去噪不要模仿BNN。这一点，其实我另一篇。
2023-11-09 19:38:35
560
原创 Masked Image Training for Generalizable Deep Image Denoising 论文阅读笔记
文章做了一个很有意思的动机实验：在非自然图像上训练高斯去噪，然后放到自然图像加高斯噪声上去测试，如果去噪成功，说明忘了学习的是训练集上的高斯噪声的模式，从而可以泛化到具有相同噪声却有不同图像内容的自然图像上。从下图的denoised by swinir可以看出来，确实去噪成功，也证实了网络在这次实验中只是在学习高斯噪声的模式，从而无法泛化到其它的噪声上。如果希望网络训练出来之后能够泛化到各种各样的噪声上，应该让网络学习自然图像是怎么样的而非学习噪声是怎么样的。
2023-11-09 11:37:42
715
原创 Empowering Low-Light Image Enhancer through Customized Learnable Priors 论文阅读笔记
ICCV2023 customized low-light image enhancement论文阅读笔记
2023-10-15 12:24:52
1489
3
原创 Learning Continuous Exposure Value Representations for Single-Image HDR Reconstruction 论文阅读笔记
这是国立阳明交通大学、联发科和英伟达合作的一篇ICCV 2023的HDR Reconstruction的论文文章用INR来生成具有连续曝光值的图片，从而能够生成更加多样的LDR图片，而文章发现用更多样的LDR图片训练的网络具有更好的性能，这也是文章的动机。文章说用了INR的思路，其实根本就不是INR，INR的输入是坐标，而这里其实就是把s给repeat成feature map大小concatenate到feature map后面，然后用几个1x1卷积进行处理，美其名曰MLP，又不是1x1卷积就是I
2023-10-14 22:27:30
229
原创 ExposureDiffusion: Learning to Expose for Low-light Image Enhancement论文阅读笔记
评价：本身把diffusion和暗图增强这个任务进行了很好的结合，我应该给出很好的评价的。总而言之是一篇很好的文章，个人认为是目前为止看到的用diffusion model做暗图增强做得算好的了，在用diffusion 的框架进行暗图增强的训练的方向上做了一个理论上比较有说服力的工作。用diffusion模型来进行raw图像暗图增强，同时提出了一个自适应的残差层用来对具有不同信噪比的不同区域采取不同的去噪策略。也是预测的一个soft的mask。文章定义暗图增强的目标为从一张。分别是对正常光照的图像。
2023-10-14 21:52:14
1459
原创 Diff-Retinex: Rethinking Low-light Image Enhancement with A Generative Diffusion Model 论文阅读笔记
这是武汉大学发表在ICCV2023的一篇用diffusion模型来做暗图增强的工作，希望通过diffusion model的生成能力来还原出暗图中丢失的信息，同时用transformer作为retinex model的分解网络前面的transformer模型的损失如下图所示，即常规的重建损失，亮度分量的平滑损失，成对图像的R分量要相同的损失。其中重建损失的第三项是交叉损失，指将暗图和亮图的R对换后的损失，但是具体又不给出表达式，很可疑：前面的transformer模型用的是通道注意力，后面
2023-10-13 17:44:02
1157
原创 RSFNet: A White-Box Image Retouching Approach using Region-Specific Color Filters 论文阅读笔记
而这次也是类似的方法，预定义了一系列带参数的操作，用神经网络预测这些操作的参数，再预测一个attention maps来加权平均这些操作，由于attention maps是element-wise的，从而实现了动机中所说的fine-grained的retouching。此外，还提供了一个变种模型，利用palette-based methods，或是显著性预测的模型，或是分割模型，用来生成mask，来对不同区域进行不同的retouching。损失函数是监督的L1损失，在Fivek上训练和测试。
2023-10-13 11:37:55
305
4
原创 Deep Fourier-Based Exposure Correction Network with Spatial-Frequency Interaction 论文阅读笔记
但是我觉得用卷积来处理频率谱（尽管是1x1卷积，也不合理，因为频率谱上的1x1卷积不仅意味着卷积核只能看到一个频率分量的内容就要做出推断，而且对所有的频率分量采取相同操作，这就非常不合理了，甚至对特征图进行频谱分解的意义我觉得都有待商榷），以及空间谱和频率谱的交互居然是直接相加，我觉得非常不合理，这个方法可能并没有发掘出从频率域的角度去增强的潜力（虽然之前其它工作从频率域角度用DL模型处理底层视觉任务大多也都这样做），还有很大的提升空间。SFI模块如下图所示（这是幅度谱的SFI，相位谱的SFI以此类推）
2023-10-13 09:11:30
305
原创 Exposure Normalization and Compensation for Multiple-Exposure Correction 论文阅读笔记
而finetune其它模块的时候，可以利用现有的一个方法来计算参数的重要性，从而对重要参数的变化进行惩罚，使得重要参数在finetune的过程中不要发生大的变化，使得对常规图像输入的性能不下降而对难样本的性能提升。文章的动机是，多曝光图像中，过曝和欠曝的图片的调整方向是相反的，给训练带来了问题（和CVPR2023那篇的动机是一致的）。参数的重要性可以通过对常规样本的结果对参数的微分来计算，也就是（10）式，从而在finetune的过程中，通过限制在这m个常规样本上的输出的变化，使得对常规样本的性能不下降。
2023-10-12 23:05:30
1333
2
原创 Learning Sample Relationship for Exposure Correction 论文阅读笔记
这个过程是很直观简单的。比较复杂的是训练流程。文章的动机是，在多曝光数据集上训练时，同一个batch可能同时出现需要增亮的样本和需要抑制过曝的样本，而这两种样本的优化方向是相反的，从而产生负面影响。为了解决这个问题，本文提出通过学习一个batch的样本间的关系。这已经是最近第三次看到这种论文了，前两篇分别是CVPR2022的ENC和CVPR2023的SKF，都是类似即插即用地提出一些模块来提高现有方法的性能，实验结果都是以方法A+XX比方法A性能提高，方法B+xx比方法B性能提高的方式展示。
2023-10-12 21:41:17
964
2
原创 Burstormer论文阅读笔记
这是CVPR2023的一篇连拍图像修复和增强的论文，一作是阿联酋的默罕默德 本 扎耶得人工智能大学，二作是旷视科技连拍图像的多帧是不对齐的，为了实现帧间信息交流、帧对齐和帧修复/增强，本文提出了一个连拍图像超分、去噪、暗光增强模型网络结构如下图所示：主要操作图中都能看到，就是通过deformable convolution来做一个帧对齐，还有一些常规操作进行帧间信息交流。
2023-10-12 20:00:15
793
原创 COMO-ViT论文阅读笔记
个人感觉，泰勒展开应该是没有加速效果的，不仅没有开源，也没有给这个的消融实验；同时呢，只给PSNR和SSIM是很少见的，LPIPS LOE FID NIQE都没有给，比PSNR也没有和LLFlow（25.42的PSNR）比。感觉发ICCV有点。。。
2023-09-11 22:25:57
903
5
原创 reference based image enhancement 论文调研
Enhance Images as You Like with Unpaired Learning这是IJCAI 2021的文章文章提出一个条件GAN模型，用reference image作为条件，可以在unpaired images上训练暗图增强模型，使得增强结果根据reference image来调节色调亮度和对比度。训练的监督分为四部分，一个是以输入图片为条件时GAN生成的必须是输入图片，一个是增强结果和输入图片的空间相关性，一个是增强结果和参考图片的全局色调相关性，一个是GAN损失。网络结
2023-09-03 20:23:44
316
原创 personalized image enhancement 调研
Personalized Image Enhancement Using Neural Spline Color Transforms这是TIP期刊 2020年的一篇论文，首先提出了一个能预测曲线的网络，预测一些锚点，根据锚点插值出连续的曲线，然后用曲线对raw image进行retouching。然后提出了一个根据用户的retouching结果预测用户喜好的网络，能够模拟用户的喜好对图片进行retouching。两个方法的流程图如下所示：PieNet: Personalized Image
2023-09-03 12:27:24
262
原创 Learning a Simple Low-light Image Enhancer from Paired Low-light Instances 论文阅读笔记
这是CVPR2023的弱监督暗图增强论文，需要一个对同一场景有两个不同亮度相同内容的暗图的数据集，但论文提出可以对一张暗图做类似neighbor2neighbor的采样操作得到两张图片来获得。网络结构如下图所示，由3个模块组成，P-net负责对图片进行去噪和去伪影操作，L-Net和R-Net分别对应retinex模型中的L分量和R分量估计。g(L)就是gamma校正。可以看到，训练过程有3个损失，一个是对P-Net的重建损失，其实只是对输入和输出进行L2 Loss而已（之所以P-Net能work，
2023-07-28 22:14:24
821
原创 You Do Not Need Additional Priors or Regularizers in Retinex-based Low-light Image Enhancement论文阅读笔记
我很喜欢这篇。利用自蒸馏和对比学习来提供额外监督虽然是个容易想到的idea，但是文章根据暗图增强任务进行了适应性的调整，最重要的是取得的效果也很好，实验也做得很充分。怀疑点也不是没有，这里的主观评价实验，SCI效果有那么差吗，我自己实验出来效果还挺好的呀。还有就是，已经选了SCI还选RUAS干嘛，再选个别的嘛，enlightenGAN之类的。
2023-07-28 12:10:11
641
2
facebook开源目标检测框架所用到的R-101预训练的权重文件 R-101.pkl
2020-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人