Matrix_11-CSDN博客

原创计算摄影资源汇总

计算摄影资源汇总计算摄影是一个交叉学科，融合了图像处理，光学，信号处理，计算机视觉，计算机图形学，优化，机器学习等各个领域，计算摄影最早在国外的大学里只是一个比较小众的研究方向，比如早期斯坦福大学的光场，相机阵列，以及杜克大学的多光谱成像等，基本还是停留在学术研究阶段，而且比起计算机领域的识别，检测，分割，跟踪等方向来说，计算摄影这块算是比较低调的一个研究方向。这些年，随着智能手机拍照的兴起，计算摄影也获得了越来越多的关注，因为以前的单反相机，尺寸比较大，所以长焦比拼的都是镜头模组的设计，sensor

2020-07-12 10:50:52 2598 1

原创机器学习笔记

博客专栏：机器学习PDF 文档下载地址：Machine Learning 学习笔记机器学习 scikit-learn 图谱人脸表情识别常用的几个数据库机器学习 F1-Score, recall, precision机器学习 DeepDreaming with TensorFlow (三)机器学习 DeepDreaming with TensorFlow (二)机器学习 DeepDre...

2015-02-05 19:01:01 5021

原创图像特效及滤镜算法汇总

OpenCV 版：OpenCV 图像处理图层混合算法：PS图层混合算法之一（不透明度，正片叠底，颜色加深，颜色减淡）PS图层混合算法之二（线性加深，线性减淡，变亮，变暗）PS图层混合算法之三（滤色，叠加，柔光，强光）PS图层混合算法之四（亮光，点光，线性光，实色混合）PS图层混合算法之五（饱和度，色相，颜色，亮度）PS图层混合算法之六（差值，溶解，排除）图像调整算法...

2015-01-15 17:41:34 16811 3

原创论文阅读：AutoDIR Automatic All-in-One Image Restoration with Latent Diffusion

这篇文章提出了一个创新的 all-in-one 的图像恢复框架，融合了隐扩散技术，各种不同的图像退化都可以用这一个模型搞定，简称 AutoDIR。AutoDIR 模型可以自动的识别以及恢复一系列未知的图像退化。AutoDIR 提供了直观的开放式词汇图像编辑功能，使用户能够根据自己的喜好定制和增强图像。AutoDIR 由两个关键阶段组成：一个基于语义无关的视觉语言模型的盲图像质量评估（BIQA）阶段，它会自动检测输入图像中的未知图像退化类型；

2024-09-08 11:37:31 1020

原创论文阅读：Real-time Controllable Denoising for Image and Video

图像或者视频降噪，是在细节与平滑度之间的一个微妙的平衡，因为噪声与细节都属于高频信息，降噪在去除噪声的同时，也会对纹理细节造成一定的损害，而且最终的图像效果与人的主观感受有关，所以降噪强度也是一个众口难调的问题。所以文章的主旨非常明确，就是要做可控的降噪，而且是实时可控。这个在传统的降噪方法中，可以通过调整算法中的某些超参进行控制。不过对于目前主流的神经网络一类的方法来说，调整降噪强度，需要每次重新跑一遍推理，这个对于实时性要求很高的场景来说，这种耗时是很难接受的。

2024-08-18 14:58:10 992

原创论文阅读：Burst Image Restoration and Enhancement

现在的很多手持设备都可以拍摄多帧图像，获取的多帧图像可能存在不同形式的质量退化以及不对齐的问题。多帧图像复原的目标就是有效地将多帧图像之间的信息进行组合以生成高质量的输出。文章作者设计了一种新的方法，该方法聚焦于对多帧图像之间的有效信息的交换。以最大程度的保留和增强场景的真实细节信息。文章的核心思想是创建一组虚拟的多帧特征 pseudo-burst features，这组虚拟的多帧特征可以将输入的多帧图像之间的互补信息无缝交换。虚拟多帧特征创建的前提是多帧图像之间能够合理地对齐，消除帧与帧之间的运动偏移。

2024-07-20 09:00:31 994

原创论文阅读：HDRFlow Real-Time HDR Video Reconstruction with Large Motions

文章一开始就直接亮出观点，基于不同曝光的 HDR 视频重建问题目前依然存在很多的挑战，尤其是在相机或者场景物体大幅运动的情况下。目前的方法都是利用光流将 LDR 的图像序列进行对齐，然后利用 attention 机制去鬼影。这类方法在处理复杂运动场景的时候，效果不是很好，而且运算的代价很大。为了解决这些问题，文章作者为实时的 HDR 视频重建问题提出了一个鲁棒而且高效的位移场估计器，称为 HDRFlow。

2024-07-13 09:10:55 1007

原创论文阅读：Simple Baselines for Image Restoration

这篇文章是 2022 ECCV 的一篇文章，是旷视科技的一篇文章，针对图像恢复任务各种网络结构进行了梳理，最后总结出一种非常简单却高效的网络结构，这个网络结构甚至不需要非线性激活函数。文章一开始就提到，虽然在图像复原领域，可以看到非常明显的进步和提升，但是这些算法框架的复杂性也随之增加。这篇文章重新思考了算法框架的设计，提出了一种非常简单的基线算法框架，这个基线算法框架不仅效果上可以超越当前的一些 SOTA 方法，而且运算效率也非常高。

2024-07-06 17:29:19 1138 2

原创论文阅读：Efficient Unified Demosaicing for Bayer and Non-Bayer Patterned Image Sensors

这篇文章是 2023 ICCV 的一篇文章，主要介绍一套统一的去马赛克的算法框架的由于手机 Camera 上 CMOS 的单个 pixel size 比较小，所以现在很多手机的 Camera CMOS 会采用一些独特的非 Bayer 模式的 CFA (Quad, Nona 以及 Q X Q) 等，这类非 Bayer 模式的特点是在一个局部邻域内的像素是同样的颜色，可以根据不同的光照条件，进行灵活的转换，不过也对去马赛克的方式带来了挑战，如果处理不好，很容易带来 artifacts。

2024-06-30 09:58:36 782

原创论文阅读：Efficient Hybrid Zoom using Camera Fusion on Mobile Phones

这是谷歌影像团队 2023 年发表在 Siggraph Asia 上的一篇文章，主要介绍的是利用多摄融合的思路进行变焦。单反相机因为卓越的硬件性能，可以非常方便的实现光学变焦。不过目前的智能手机，受制于物理空间的限制，还不能做到像单反一样的光学变焦。目前主流的智能手机，都是采用多摄的设计，一般来说一个主摄搭配一个长焦，为了实现主摄与长焦之间的变焦，目前都是采用数字变焦的方式，数字变焦相比于光学变焦，细节会损失很多。

2024-06-23 10:17:26 811

原创读书笔记--金字塔原理

界定问题：也就是使用连续分析的方法来界定问题：背景 —— R1（非期望结果）—— R2（目标，即期望结果）—— 实现R1到R2的解决方案。结构化分析问题：标准流程是收集信息–描述发现–得出结论–提出方案。金字塔内部结构的逻辑关系。

2024-04-05 21:32:46 411

原创浅谈泰勒展开与优化

优化，可以说是最常见到的一类数学问题，尤其在深度学习时代，大部分的工作都是围绕着数据构建，模型设计，loss 设计来开展的，深度学习训练模型的目的是拟合训练数据，或者说让设计的 loss 最优，无论是拟合训练数据，还是让 loss 最优，这都涉及到优化问题。有些函数很复杂，比如现在的 AI 模型，AI 模型本身也是一种函数，只是这个函数的表达式过于复杂，已经不能显式地将表达式写出来了。对于这类优化问题，大家都知道可以用梯度下降结合链式法则去优化，现在的深度学习，本质上也是上面这种形式，

2024-03-24 14:38:42 1257

原创论文阅读：Face Deblurring using Dual Camera Fusion on Mobile Phones

今天介绍一篇发表在 ACM SIGGRAPH 上的文章，是用手机的双摄系统来做人脸去模糊的工作。这也是谷歌计算摄影研究组的工作。快速运动物体的运动模糊在摄影中是一个一直以来的难题，在手机摄影中也是非常常见的问题，尤其在光照不足，需要延长曝光时间的场景。最近几年，我们也看到了图像去模糊领域的巨大进步，不过大多数的图像去模糊方法的算法开销很高，需要依赖很高的算力，同时在处理高分辨率图像时还存在局限于不足。

2024-03-17 09:59:08 1123

原创论文阅读：Iterative Denoiser and Noise Estimator for Self-Supervised Image Denoising

随着深度学习工具的兴起，越来越多的图像降噪模型对降噪的效果变得更好。然而，这种效果的巨大进步都严重依赖大量的高质量的数据对，这种对大量训练的依赖，在真实环境中比较难获取，这在一定程度上限制了这些降噪模型的实际应用。为了克服对数据的依赖，很多研究者也开始探索自监督的学习方法，这类方法可以不依赖成对的数据。然而，由于噪声先验的不可获得以及特征提取不够有效，同样也让这类自监督学习方法实用性及精确性大打折扣。这篇文章提出了一个 Denoise-Corrupt-Denoise （DCD）的自监督学习的流程框架。

2024-03-10 08:12:54 1039

原创论文阅读：Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography

这是一篇发表在 CVPR2023 的文章，文章的作者之一是 Felix Heide，是普林斯顿大学的一名教授，也是计算成像领域的一个大牛，主要研究计算成像，软硬件联合优化等课题。这篇文章的出发点是基于如下的假设，三维空间的场景通过相机的内外参投影到相机所在的二维平面，如果有深度信息，和相机的内外参，那么可以得到不同视角下的二维图像。那么反过来说，如果我有一组序列图像，这组序列图像可以看成是同一个三维空间的场景在二维平面的投影，那么这组序列图像之间借助深度信息和相机的内外参是可以互相转换的。

2024-03-03 10:14:59 983

原创论文阅读：Differentiable Compound Optics and Processing Pipeline Optimization for End-to-end Camera Desig

这是一篇发表在 2021 年 ACM TOG 上的文章，TOG 是图形学领域的顶刊，不过也会经常发表一些关于计算成像相关的文章，这篇文章的作者之一是 Felix Heide，普林斯顿大学的一名教授，也是计算成像领域的一个大牛，这个老师主要做一些计算成像相关的工作，尤其是软硬件联合优化这块，这篇文章算是这个老师早期的一个研究工作。

2024-02-18 22:22:25 1061 1

原创论文阅读：GamutMLP A Lightweight MLP for Color Loss Recovery

这篇文章是关于色彩恢复的一项工作，发表在 CVPR2023，其中之一的作者是 Michael S. Brown，这个老师是加拿大 York 大学的，也是 ISP 领域的大牛，现在好像也在三星研究院担任兼职，这个老师做了很多这种类似的工作，通过一些轻量模型，将一些数据转换过程中的变换关系进行拟合，然后再进行恢复，比如 RAW域到 sRGB 域的转换，这篇文章是 wide RGB 到 sRGB 的转换。表示最终恢复的 wide gamut 的 RGB 值，网络的输入是一个五维的向量。是一个色彩转换矩阵，

2024-02-13 09:38:21 1506

原创论文阅读：Learning Lens Blur Fields

光学模糊是光学镜头的固有性质，因为实际镜头都存在各种各样的像差，光学模糊与物距，焦距，入射光线的波长都有关系。光学镜头的表现可以用点扩散函数，也就是 PSF 来表示，实际镜头的 PSF 场非常复杂。这篇文章提出一种标定的方法，来构建这样一个实际光学镜头的 PSF 场，然后设计了一个高维的神经表征来学习这个 PSF 场。文章中用 MLP 来建模这个神经表征，这个镜头模糊场，可以准确地获得镜头在成像面的不同成像位置，不同对焦设置以及不同深度下的 PSF；

2024-02-03 09:32:37 1398

原创论文阅读：Self-Supervised Burst Super-Resolution

这篇文章介绍了一种基于自监督的学习方式来进行多帧超分的任务，这种方法只需要原始的带噪的低分辨率的图。它不需要利用模拟退化的方法来构造数据，而且模拟退化的方法又可能存在域差异的问题，可能无法匹配真实场景下的图像分布。另外，它也不同于那种同时拍摄手机和高清单反的弱配对的方法，弱配对的方法，需要进行实际的数据的采集，无法实现大规模的数据构造，而且也不用担心会出现手机与单反的颜色差异问题。为了避免模拟退化以及采集数据对的这些问题，文章提出利用自监督学习的方法，从低清带噪图像中直接学习超分模式。

2024-01-14 09:37:46 1271

原创论文阅读：Blind Super-Resolution Kernel Estimation using an Internal-GAN

这是发表在 2019 年 NIPS 上的一篇文章，那个时候还叫 NIPS，现在已经改名为 NeurIPS 了。文章中的其中一个作者 Michal Irani 是以色 Weizmann Institute of Science (魏茨曼科学研究学院) 的一名教授，对图像纹理的内在统计规律有着很深入的研究，提出了很多基于单帧图像的 GAN 模型。这篇文章也是提出了基于单张图像的一种 Internal-GAN 模型，也算是最早开始尝试研究用深度学习进行盲超分的工作，今天看来，依然有一定的借鉴意义。

2023-12-24 16:45:04 819

原创论文阅读：Learning sRGB-to-Raw-RGB De-rendering with Content-Aware Metadata

大多数的 Camera ISP 会将 RAW 图经过一系列的处理，变成 sRGB 图像，ISP 的处理中很多模块是非线性的操作，这些操作会破坏环境光照的线性关系，这对于一些希望获取环境光照线性关系的 CV 任务来说是不友好的，对于这类任务来说，线性的 RAW-RGB 图像来说更合适，不过，一般的 RAW-RGB 图像的 bit 位都是 12 或者 14 比特的，直接存储 RAW-RGB 图像比较费存储空间。

2023-12-17 09:40:02 626

原创论文阅读：Auto White-Balance Correction for Mixed-Illuminant Scenes

自动白平衡（AWB）是相机 ISP 通路中比较重要的一个模块，主要用于校正环境光照引起的色偏问题，不过常见的 AWB 算法都是基于单光照的假设去做的，然而，实际场景中都是多光源环境，这篇文章提出了一种高效的方法去处理实际场景中的多光源问题，与传统 AWB 方法的一个显著不同点在于，这篇文章不需要对光照进行估计，而是通过对一组预设的白平衡参数，将预设的白平衡参数的权重进行调节，然后加权得到混合光照下的白平衡效果，实验结果说明这种方法相比之前的单光照或者混合光照下的白平衡算法都更有效。

2023-11-19 09:06:20 947

原创论文阅读：Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW Images

CG 渲染得到的图像与相机拍摄得到的图像越来越像了，这种摄影级的渲染逼近效果让越来越多的 CG 渲染图像参与到 high level 的计算机视觉任务的训练数据构建中，比如自动驾驶领域和图像分割领域，有很多的 CG 渲染图像构建的数据集。不过 CG 渲染图像，还无法像 high level 任务一样，可以很便捷地应用到 low level 的图像处理领域，尤其是对于处理对象会 sensor RAW 的图像。

2023-10-22 08:28:12 376

原创论文阅读：Seeing in Extra Darkness Using a Deep-Red Flash

本篇文章提出了一种新的闪光灯技术，利用一个深红波段的闪光灯进行补光，文章作者说，他们主要观察到在明亮环境下，人眼由视锥细胞主导成像感知，在暗光环境下，人眼主要由视杆细胞主导成像感知。人眼的视杆细胞对波长大于 620nm 的红外光谱并不敏感，然而相机 sensor 依然有感应。文章作者提出了一种新的调制策略，通过 CNN 网络实现图像引导的滤波，将一张有噪的 RGB 图像与一张闪光拍摄的图像进行融合。

2023-10-15 15:33:51 943 1

原创论文阅读：DisCO Portrait Distortion Correction with Perspective-Aware 3D GANs

文章的摘要，一开始就介绍说，近距离成像的时候，人脸会产生比较明显的变形，使得最终的成像看起来不太自然。这篇文章提出了一种有效的方法来解决这个问题。首先，将 GAN inversion 作用于有形变的人脸图像上，联合优化得到对应的相机参数以及人脸的 latent code，为了解决这个联合优化的多义性问题，文章作者提出了一种顺序优化的策略，先对虚拟相机的焦距进行重参数化，然后再从一个较短的物距开始优化，最后还有一个几何的正则化。

2023-09-24 17:07:26 232 1

原创论文阅读：Distortion-Free Wide-Angle Portraits on Camera Phones

广角摄影，可以带来不一样的摄影体验，因为广角的 FOV 更大，所以能将更多的内容拍摄进画面，在多人集体合影的时候，一般用广角可以将大家都拍到，但是广角摄影也有弊端，最显著的问题就是畸变，随着 FOV 的增加，画面边缘的人很容易发生变形，比如人头，身体被拉伸。这种畸变让画面边缘的人与真实的人差异很大。这篇论文就是为了解决广角摄影下的畸变问题的。给定一张广角下的人像照，文章中的算法是通过构建一个能量优化函数，将球极投影下的人脸区域与透视投影下的背景区域的位移 mesh 进行联合优化，从而达到一个畸变校正的目的。

2023-09-03 16:49:01 1099 1

原创近轴成像的相关性质

本文介绍薄透镜近轴成像的一些性质，所谓近轴成像，就是入射光线非常靠近光轴，意味着入射角很小。

2023-07-02 10:45:01 1027

原创费马原理与光的反射折射

光传播的路径是光程取极值的路径。

2023-07-01 21:07:36 2871

原创论文阅读：Denoising Diffusion Probabilistic Models

在 AE 之后，出现了 DAE，也就是 Denoising Autoencoder，DAE 与 AE 的流程也非常类似，唯一的区别在于编码器的输入，AE 的编码器的输入是原始的高维向量，而 DAE 的编码器的输入是对原始高维向量加入噪声扰动之后的高维向量，DAE 就是希望把加了噪声的高维向量恢复成原始的高维向量，这个过程有点像是对高维向量去噪，所以就叫 Denoising Autoencoder。是从原始图像分布中抽取的一个初始样本，然后每次叠加少量的噪声，生成一系列的带噪图像，扩散与采样过程的程序。

2023-06-11 15:13:44 1628

原创论文学习笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

文章的作者在摘要一开始就说他们提出了一种新的 vision transformer，叫做 swin transformer，能够作为视觉任务的通用骨干网络。然后作者说将 transformer 从 NLP 领域迁移到视觉领域的时候，因为两个领域之间的诸多差异，所以面临很多的挑战。一个是分辨率上的差异所带来的，因为视觉一般需要处理的都是图像，图像的分辨率比起文本来说维度要高很多。

2023-06-03 16:40:14 1130

原创论文学习笔记：ViT Vision Transformer An Image is worth 16X16 words

首先看摘要部分，文章作者一开始就提到说虽然 transformer 已经成为了 NLP 领域的主流模型，但是在 CV 领域，这个模型的使用还是非常的受限。因为 transformer 模型里面的核心模块是 attention 机制，所以作者接下来说到，在视觉领域，attention 要不与卷积神经网络一起使用，要不是用 attention 去替换卷积神经网络里的一些模块，但是整体的 CNN 架构还是保持的。

2023-05-14 15:00:42 406 1

原创论文学习笔记：Transformer Attention Is All You Need

在主流的序列转录模型中，主要是依赖复杂的循环网络或者卷积神经网络，这类模型都包含一个 Encoder 和 Decoder。在性能最好的模型里，通常会在编码器与解码器之间使用一个注意力机制进行连接。这篇文章提出了一个简单的架构，称为 Transformer，仅仅只依靠注意力机制，不再需要循环或者卷积。文章提出的模型，在两个机器翻译任务上取得了更好的效果，同时具备更好的并行化以及更少的训练耗时。同时模型泛化到其它任务上也有不错的表现。

2023-05-01 10:32:56 1111

原创 Image Deconvolution with the Half-quadratic Splitting Method

在处理图像重建或者逆问题的时候，我们经常会看到一种称为 Half-quadratic Splitting（HQS）的方法，这是在优化领域里非常经典的一种方法，之前也断断续续地找了很多相关的资料，发现斯坦福大学的计算成像课里某一节 lecture note 把这个方法在图像反卷积中的使用介绍地非常详细。这篇文章也是基于这个 lecture note 的一个学习笔记。一般来说，图像的成像过程可以用下面的式子表示：b=c∗x+η(1) b = c * x + \eta \tag{1}b=c∗x+η(1)其中，b

2023-04-09 09:07:18 1334

原创论文阅读：High Dynamic Range and Super-Resolution from Raw Image Bursts

论文解读：High Dynamic Range and Super-Resolution from Raw Image Bursts今天介绍一篇发表于 2022 年 ACM Tranaction on Graphic 上的文章，这篇文章通过多帧曝光将 HDR 与 SR 放在一起解决，与一般的文章不同的地方在于，这篇文章是在 RAW 域处理这个问题。

2023-03-05 11:52:20 685 1

原创论文阅读：NeRF Representing Scenes as Neural Radiance Fields for View Synthesis

论文阅读–NeRF Representing Scenes as Neural Radiance Fields for View Synthesis这是 2020 ECCV 的一篇文章，记得好像还获得了最佳论文奖的提名，这篇文章相当于将自由视点生成这个方向开辟出了一个新的解决思路。文章的作者们提出了一种可以对复杂场景进行新视点生成的方法，这个方法只需要少量的不同视角的输入，通过优化一个潜在的连续体场景函数，从而可以对复杂场景的新视角进行渲染，获得非常逼真的渲染效果。

2023-02-26 07:52:49 1420 1

原创光，影像与计算摄影

手机的计算摄影，同样经历了几个阶段，早期的手机运算能力较弱，只能实现一些简单的图像处理算法，所以早期的手机摄影，可以看到明显的粗糙感，和美学是完全没有关系的，随着手机芯片制程的提升，从十几纳米，到十纳米，现在最好的手机芯片可以到 5 纳米，甚至 3 纳米，这意味着手机的运算能力有了质的飞跃，很多复杂的图像处理算法都可以支持了，这个时候，计算摄影才是真正的爆发了。从标准镜头，到广角，到长焦；人类经过漫长的进化，发展出一套神奇的视觉系统，可以感受色彩，可以适应暗光，通过调节瞳孔的大小，还能控制进光量；

2023-01-14 16:22:10 1055

原创论文阅读：Practical Deep Raw Image Denoising on Mobile Devices

论文阅读： Practical Deep Raw Image Denoising on Mobile Devices旷视 2020 ECCV基于深度学习的降噪方法在近几年得到了大量的研究，这些方法的效果也霸榜了很多公开的数据集。不过这些方法用到的网络模型都很大，无法在手机端侧运行。这篇文章的作者设计了一种能够在手机端运行的轻量级地的降噪模型，而且在主流的旗舰机上还取得了不错的效果。

2022-11-20 17:24:53 1104 1

原创论文阅读：Hyperparameter Optimization in Black-box Image Processing using Differentiable Proxies

Hyperparameter Optimization in Black-box Image Processing using Differentiable ProxiesABSTRACT在我们的日常生活中，我们会接触到各种各样的数码设备，不管是直接接触，比如手机，相机等；还是间接接触，比如城市里的监控摄像头等。这些数码设备都有一个复杂的成像系统，我们一般称为 ISP (image signal processing)，ISP 可以硬化之后运行在硬件单元，也可以通过 “软算法” 实现，一般来说，ISP

2022-05-29 13:56:38 808 2

原创论文阅读：Deep Bilateral Learning for Real-Time Image Enhancement

Deep Bilateral Learning for Real-Time Image EnhancementABSTRACT对于移动端的图像处理，性能功耗是一个非常大的挑战，这篇文章提出了一种新的网络架构可以实现实时的图像处理，这种网络架构是基于 bilateral grid processin 和 local affine color transforms，利用成对的输入-输出图像，文章作者训练一个卷积神经网络去预测 bilateral space 中的局部仿射变换模型的系数，这个网络结构可以同时在

2022-05-14 07:56:59 1817 1

原创论文阅读：Deep High Dynamic Range Imaging of Dynamic Scenes

Deep High Dynamic Range Imaging of Dynamic ScenesAbstract这篇文章介绍了一种在动态场景中，如何将不同曝光的图像进行融合从而得到高动态图像的方法，我们知道，在动态场景中，将不同曝光的图像进行融合是非常挑战的，现有方法的一种就是先对多帧不同曝光的图像进行配准对齐，都对齐到某一参考帧上，然后再讲对齐后的图像进行融合。但是有的时候，这种配准对齐会引入 artifact，而这些 artifact 在最终融合的图像上会有 ghost 残留，也就是我们说的鬼影残

2022-04-17 09:48:57 1609 1