深度学习关键概念和快速理解（持续更新）

提示：引用本文请添加注释和链接。

前言

• 想要搭建深度学习框架，必然要涉及到很多数学、矩阵等领域的概念，这些概念往往在论文中高频率地出现，但期刊的小论文不会再介绍，看的时候非常懵逼。

1、字典学习 Dictionary Learning

字典学习概念

• 上图中，想要通过字典 A和 一个权重（系数）矩阵x来表示数据y。

• 这里面的 A，称为字典，它包含了所有数据需要的元素，只要通过不同的权重x，对字典中的元素，进行线性组合，就可以了表示任何形式的 y。

稀疏编码算法 Sparse Coding

• 稀疏编码算法是一种无监督学习方法，用于寻找一组“超完备基”来高效地表示样本数据。

超完备基 Over-Complete set of basis vector

• 超完备基中的基向量是线性相关的。

• 我理解为，上面的字典，是过完备，也就是说，想表示某一个 y 的时候，有不止一种方式，也就是x的值不唯一。

• 完备基 complete set of basis vector

稀疏性 Sparsity

• 只有少数的非零元素或者很少的大于零的元素。

• 这个例子中，可以理解为，x矩阵中的元素，极少数是非零值，大多数都是零。

2、损失函数 & 代价函数 & 目标函数

• 损失函数定义 用来估计模型的预测值与真实值的不一致程度。

• 损失函数 通常是针对单个训练样本而言的。

• 代价函数 针对整个数据集。

• 目标函数 通常是一个更通用的术语，表示任意一个希望被优化的函数。

损失函数

• 一般来说，损失函数loss function是 单个元素或者数据的预测值与真实值ground truth之间的误差；

回归任务常见损失函数

• 均方差

• 平均绝对误差

• Huber Loss 将MSE与MAE结合起来，也称作 Smooth Mean Absolute Error Loss、分位数损失损失函数（Quantile Loss）

分类任务常见损失函数

• 交叉熵损失

• 合页损失

• 0/1损失函数

• 指数损失

• 对数损失/对数似然损失

代价函数

• 代价函数cost function则是整个数据集上的上述概念。

目标函数

• 深度学习从宏观上来讲，就是在寻找一个目标函数，直接描述目标函数：深度学习是在寻找一个多维空间变换函数，通过大量数据不断地对目标函数进行测试和修正，获得一个可以使损失函数最小的映射关系模型。这个模型，就是目标函数。（当然这是按我自己的理解说的。）

3、CNN 卷积神经网络

输入与输出通道数

• 卷积神经网络经常用来处理图像；
• 图像的通道数是一个重要的固有参数，在CNN中，卷积核的设定需要配合图像固有的通道数；
  • 卷积核的通道数，要跟输入进来的通道数完全一致。（这里没有说跟图像的通道数完全一致，是因为，多层CNN中，仅第一层与图像一致，后面的各层，需要看前一个卷积层的输出通道数才能确定。）
  • 卷积核的个数，要跟输出结果所需要的通道数完全一致。（这里的个数，就是下一个卷积层的输入通道数，也就是下一个卷积层的通道数。）

---

主要参考

https://www.jianshu.com/p/f6e5d1cd21b9?utm_campaign=maleskine

https://blog.csdn.net/u013069552/article/details/113804323

https://blog.csdn.net/walilk/article/details/78175912

https://www.bilibili.com/video/BV1sb411P7pQ

https://space.bilibili.com/299585150/channel/detail?cid=112876&ctype=0