OUC_SE_Group04_Blog5

第04组选题—图像修复

本博客系OUC软件工程第五次作业：第五次作业：项目选题

第五次作业：项目选题

一、前言

项目名称：基于CNN与Auto-Encoder的图像降噪方案

项目简介：该方案使用Docker容器进行项目部署，并基于CNN的Auto-Encoder技术实现了在线提供图像编辑以及多种可供选择的图像降噪方案，并且还提供了超分辨率功能，以获得更高质量的图像。此外该方案参考了其他众多优秀网站的运作模式，支持了完整的商业化方案，争取实现项目的长期生存。

二、项目的NABCD分析

Need 需求

---

两个典型的场景

场景一：

你是否曾经尝试过在弱光条件下拍照？如果你尝试过，你可能会发现拍出来的照片和在强光条件下拍出的照片显然不同。

• 光线充足的情况下拍摄的照片晶莹剔透，浑然一体
• 弱光的情况下，照片是颗粒状的，割裂感严重。

场景二：

观看一个视频，你以为视频应该是比较清晰、流畅、以假乱真，实际你看到的画面却是颗粒状的、割裂感十分严重的，这影响了视频的质量

引出需求

• 观察我们的生活，不管是QQ空间、朋友圈或者抖音，我们对记录、处理和保存生活的渴望推动了我们大部分的创造性产出，我们渴望向外界呈现我们的美好生活或我们创造的东西。这个媒介很大一部分是图片或者视频，然而噪声的出现会导致图片和视频的质量大打折扣，不能达到我们的预期效果，这个时候，照片、视频去噪的需求就出现了。
• 由此可见，只要人类依旧以记录、分享生活为乐，并且记录和分享的载体仍然是视频、图片这类传统图像媒介，去噪的需求便会始终存在。

Approach 做法

---

在思考如何去噪之前，需要了解噪声产生的原因，了解噪声究竟是什么。

• 图像噪声由您试图捕捉的镜头中亮度或颜色信息的随机变化组成。

• 它最有可能出现在弱光条件下和/或使用小型传感器拍摄时。

  弱光条件下，光线数据变少，相比之下噪波数据就更多，图片噪声就更加明显。

了解了究竟什么是噪声，再来看看有哪些去噪的方法

去噪方法

1. 经典去噪

   原理：噪声占据频谱较高区域的原理。

   做法：根据原始图像中像素与图像块之间的相关性，通过计算每个像素的灰度值来去除噪声。

   缺点：精细细节、纹理和噪声同属于高频信号，这样做有可能导致精细细节和纹理的模糊和软化

2. 变换技术

   与空间方法不同，在空间方法中，去噪是在实际图像上执行的，变换技术，顾名思义，首先是通过执行一组称为变换的数学运算，将给定的图像转换到另一个域。

3. 深度学习

   使用复杂的神经网络，这些神经网络在一组包含退化-干净图像对的数千个图像上进行训练。然后设置算法以识别映射函数，该映射函数将有噪声的图片映射为低噪声的图片。简而言之，这意味着算法试图学习两组图像之间的关系，成功之后，如果将其应用于类似的噪音图像或视频，便可以产生去噪版本。

上图取自像素 - 什么是图像噪声？ | 磐创AI (panchuang.net)

综上，我们会根据已经掌握的基础卷积神经网络知识，结合网上的相关资料，尝试训练出来一套可以实现噪声图片 → 去噪图片映射的神经网络。

---

接下来，我想讲讲我们组的实现思路：基于pytorch的卷积自编码去噪

自编码器：

（百科）Auto-Encoder,中文称作自编码器，是一种无监督式学习模型。它基于反向传播算法与最优化方 法（如梯度下降法），利用输入数据X本身作为监督，来指导神经网络尝试学习一个映射关系， 从而得到一个重构输出X。在时间序列异常检测场景下，异常对于正常来说是少数，所以我们 认为，如果使用自编码器重构出来的输出XR跟原始输入的差异超出一定阈值(threshold)的 话，原始时间序列即存在了异常。

可以看到，通过自编码器可以达到一个映射关系，这正是我们所需要的。

自编码器有两大部分组成：Encoder 和Decoder

简单的自编码器就是通过一个encoder和decoder来对输入进行复现，例如我们将一个图片输入到一个网络中，自编码器的encoder对图片进行压缩，得到压缩后的信息，进而decoder再将这个信息进行解码从而复现原图。

Benifit 好处

---

1. 正如在需求中所说的，图像去噪可以满足人们记录、分享生活的想法，可以解决用户对于图片修复的需求，使用了图像去噪后，记录着自己生活的图片和视频，可以更加晶莹剔透地、清晰地传递给自己想看到的人，更好地满足人们的分享欲。
2. 使用方便，操作简单易上手，能够面向大众群体。

Competitors 竞争

---

图像去噪算法现在非常多，但是普遍存在效果不够好的问题。

正如之前提到的，传统的去噪方法，难以区分噪声和精细细节、纹理，往往在去噪的同时，把一些精细细节和纹理给一并去除了，这显然不是我们希望看到的。

而深度学习中的卷积神经网络则能够很好的解决这个问题，只要给出足够的训练集，同时合理地调整卷积神经网络的架构，便可以训练出一个十分优秀的去噪神经网络。

Delivery 交付，Data 数据

---

在开发出这样一个基于自编码器的去噪模型后，我们会尝试把它放到测试网站上进行测试、跑分，观察效果如何，如果效果达到了我们的预期，我们便会把这个模型放到我们团队的 Github 上，给需要借鉴的计算机视觉方面的同学提供帮助。

之后，如果发展良好，也可以嵌入到我们后续的一些项目中，为称为该项目的一个亮点。

或者，也可以走如下的推广流程

1. 先在班里试用，通过熟人推广到其他班、其他年级使用。
2. 在学校内人流量大的地方如饭堂门口、超市门口进行宣传，吸引同学来使用。
3. 通过微信朋友圈、qq动态的方式转发，可以采用抽奖转发的方式吸引用户。
4. 可以在一些平台，如抖音、小红书做推广，让更多用户认识。

三、项目亮点

• 功能集成。在使用CNN+Auto-Encoder（即卷积自编码器）完成图像降噪的基础上，我们的项目还在网页端提供简易的图像编辑工具（例如旋转、缩放、裁剪等），以及多种可选的降噪强度（因为图像降噪会引起图像失真，使用较低的降噪强度可减小失真，使用较高的降噪强度可改善降噪效果，但增加失真）
• 容器化的部署方案。使用Docker+k8s（可选）进行项目部署。Docker容器与虚拟机类似，但二者在原理上不同，容器是将操作系统层虚拟化，虚拟机则是虚拟化硬件，因此容器更具有便携性、高效地利用服务器。Kubernetes（常简称为K8s）是用于自动部署、扩展和管理“容器化（containerized）应用程序”的开源软件。
• 完整的商业化方案。项目上线运行需要支付服务器的费用，因此我们需要考虑如何让项目生存下去，为此我们预留了广告位，支持多种广告SDK对接。
• 可选的额外功能：超分辨率。需要降噪的图像可能质量较差，在降噪完成后可以对其进行超分辨率处理，以提供更高质量的图像，但这将进一步引起图像失真，因此作为可选功能。