笔记：计算机视觉与深度学习-北邮-鲁鹏-2020年录屏-第七讲

笔记：计算机视觉与深度学习-北邮-鲁鹏-2020年录屏

写在开头（重复的）

1.课程来源：B站视频.
2.笔记目的：个人学习+增强记忆+方便回顾
3.时间：2021年4月15日
4.同类笔记链接：（钩子：会逐渐增加20210428）
第一讲.第二讲.第三讲.第四讲.第五讲.第六讲.第七讲.第八讲.第九讲.第十讲.第十一讲.番外篇一个简单实现.第十二讲.第十三讲.第十四讲完结.
5.请一定观看视频课程，笔记是对视频内容的有限度的重现和基于个人的深化理解。
6.注意符号 SS：意味着我的个人理解，非单纯授课内容，有可能有误哦。

—以下正文—

前讲回顾（00：00-08：54）

深刻理解卷积（只有明白了卷积，才能深刻理解这个网络的作用）

一、补充材料—卷积与图像去噪

-1.深刻理解卷积（只有明白了卷积，才能深刻理解这个网络的作用）

（一）初识卷积操作

• 1.引子—图像去噪
  
• 2.卷积核
  
  3.卷积的数学定义：
  
  • 3.1 应当注意，我们要将卷积核翻转180度后，再对图像进行处理，这是才是卷积操作。体现在公式中就是 H i-u,j-v 。若不反转，就对图像进行处理，称为相关。
  • 3.2 但是，在课程中，卷积核通常都是对称的。也就不再强调卷积核是否旋转，但要有相关的意识。
• 4.卷积的性质：
  • 4.1叠加性：
    
  • 4.2平移不变性：
    
  • 4.3交换律
  • 4.4结合律
  • 4.5分配律
  • 4.6标量
• 5.边界填充问题
  • 5.1零填充（zero-padding）
  • 5.2拉伸
  • 5.3镜像
• 6.小结：卷积是图像处理中一个基础而又重要的图像操作，它可以实现：平移、平滑、锐化…

（二）高斯卷积核【常用的卷积核】

• 1.高斯卷积核的公式及其权重的可视化图片
  
• 2.高斯卷积核权重值在5*5矩阵中的具体值（σ = 1）
  
• 3.生成步骤
  
• 4.高斯卷积核中需要设置的参数：卷积核尺寸、高斯函数的标准差σ。
  • 4.1不同高斯函数的标准差对权值的影响：标准差越小（如σ = 1），权重约向中间集中；标准差越大（如σ = 5），权重约平均。既方差越大，平滑效果越好。
  • 4.2不同卷积核尺寸对权值的影响：尺寸越大，平滑效果越好。
  • 4.3经验法则：将卷积核的半窗尺寸设置为3σ，最终卷积模板尺寸为2*3σ+1。（视频42：30有解释）
• 5.高斯卷积核的功能：
  • 5.1去除图像中的“高频”成分（故又称：低通滤波器）
  • 5.2两个高斯卷积卷积后得到的还是高斯卷积核
  • 
  • 5.3 高斯卷积核可分离为两个一维高斯的乘积
    
  • 5.4 以上的7.5.2和7.5.3可以大大降低计算量！！！！！！

（三）图像噪声与中值滤波器

• 1.高斯噪声：（噪声服从N(μ,σ)正态分布）
• 2.高斯噪声对应的处理方法自然是低通滤波器（高斯卷积核）
• 3.椒盐噪声和脉冲噪声：对应的处理方法是中值滤波器（选原图卷积核感受野内n个数值的中值，既替换进去的值本就存在于原图中）

二、卷积与边缘提取

（一）边缘提取

• 1.边缘：图像中亮度明显而急剧变化的点。

• 2.分析图像中边缘的种类：
  

• 3.边缘检测方法：求导，导数最大处就是边缘

  • 3.1数学视角—边缘检测的导数比较难求，Δ 趋近于0比较难算，为化简直接取1。
  • 3.2 转换为图像视角—Δ = 1，在图像中变化1，就是下一位的像素点。则上图公式变为 导数= 下一位像素点的值 - 本像素点的值。
  • 3.4 （与高斯卷积核可以拆分为2个一维高斯的成绩一样）将此处的边缘提取也划分为x、y两个方向，则可分别近似求出函数的x偏导和y偏导
    
  • 3.5图像的梯度（和数学里的概念一样，由偏导组合起来的向量）
  • 3.6梯度的模值（图4级下公式）
    

• 4.先通过高斯卷积核平滑图像+再通过图像的梯度提取边缘（为缓解图像噪声对梯度的影响，进而缓解对边缘提取的影响，直观的想到的方法高斯卷积核平滑）（PS：图一后侧标注“噪声信号”，应理解为“含噪声信号的信号”）
  

  • 4.1显然的上图的运算过于麻烦（下面就看不懂了，只记结果吧）
    
    这就是“高斯一阶偏导卷积核”

• 5.提到高斯卷积核，就要讨论不同标准差情况下的卷积效果（窗口默认=2*3σ+1）
  

• 6.这是遇到了新问题，如果原图像是逐渐变亮\变暗的，则梯度变化是连续的，通过梯度提取的边界是有宽度的。但是我们想要的是一个锐利的边界。
  

  • 6.1 使用非极大值抑制，提取出锐利的边缘（既每个点梯度和左右对比，梯度最大则留下，否则删除，效果如图）
    
  • 6.2 非最大化抑制会产生新的噪声，这是需要通过设置阈值进行调整，但是高阈值导致细节丢失、低阈值导致噪声去除不干净。这时引入双阈值操作方式：双阈值操作方式，是指提取高阈值和低阈值的边，之后用低阈值的边连接到高阈值的边上，能连接的保留，不能连接的低阈值边视为噪声丢弃。
    
  • 6.3 以上高斯一阶偏导核卷积器+计算梯度和方向+非极大值抑制+双阈值提取操作 = canny边缘检测器。（目前为止最有效的边缘检测器）