2021-06-30深度学习过过过！

河南大学《深度学习》课程内容回顾

refer

卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
请问 faster RCNN 和 SSD 中为什么用smooth L1 loss，和L2有什么区别？ - 知乎用户的回答 - 知乎

一、人工智能的概念，发展历程及每个历程的特点和代表性理论或算法，或主要驱动力。

人工智能是研究开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支。
历程：

1. 崛起：浅层学习，浅层机器学习模型如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（如LR，Logistic Regression）。驱动力：计算机被广泛应用于数学和自然语言领域，用来解决代数、几何和英语问题。
2. 低谷：计算机性能不足，计算复杂，没有足够的数据集
3. 崛起：“专家系统”的推出
4. 低谷：“专家系统”计算机被淘汰
5. 崛起：深度学习，多隐层的人工神经网络和深度神经网络。驱动力：计算机性能的提升和商业应用。

⼈⼯智能三⼤核⼼驱动⼒：算法、数据和计算

人工智能与深度学习的关系

二、人工神经网络ANN的前向传播计算和误差反向回传原理

三、卷积神经网络CNN的前向传播计算和误差反向回传原理

注意对比分析ANN与CNN的相同之处和不同之处，深入理解卷积运算的概念和本质

对于具有大量隐藏层的网络，ANN网络梯度在向后传播时消失或爆炸

掌握卷积后的特征图尺寸的计算方法

$P=(F-1)/2$

四、神经网络优化

https://zhuanlan.zhihu.com/p/85978296

最小化（或最大化）损失的过程称为优化，较低的损失意味着我们的模型将表现得更好。

掌握常见激活函数

了解权值初始化的技术

理解训练神经网络的优化技术：SGD，Momentum，Adagrad， RMSProp，Adam等

1. “随机梯度下降（SGD）”是优化神经网络的最基本方法。这是一个迭代的过程，我们将多次更新每个权重的值直到损失收敛于合适的值。
   缺点：只能到局部最小而不是全局最小值。
   
2. Momentum 动量。模拟物理学中小球从山坡上滚落，到底了还不停继续走，即便重力告诉它应该停止。Momentum 动量就是以便梯度下降算法绕过局部极小值到达全局最小值。
3. Adagrad是自适应梯度的缩写。在这种情况下，我们尝试更改每次更新的学习率（alpha）。在每次更新期间，学习率都会以如下方式变化：如果在短时间内对权重进行过多的更新，学习率将降低；如果对权重没有进行多少更新，则学习率将提高。

五、深入理解各种类型的卷积操作

1. NiN，1x1卷积

1X1卷积的作用：

1. 降维。如果输入有多个通道，则相当于降维操作，同时提高网络的表达能力。
2. 增加了非线性激励（激活函数），大幅增加了神经网络的非线性特征。
3. 减少权重个数。

2. Inception块

增加网络深度的同时减少参数个数。

Residual 块

3. 空洞卷积

增大感受野，捕获更多信息。

4. 转置卷积/逆卷积

是上采样的一种方法，提高分辨率

5. 池化，上采样

⼴义上说上采样包含了反池化和反卷积

分组卷积
深度可分离卷积

六、理解掌握常见的面向目标识别(分类)的卷积神经网络

LeNet
AlexNet
VGG
Inception v3

ResNet

使⽤了残差块- -捷径连接的⽅式⼀定程度上缩短了损失的⽅向传播途径，数据可以跨层连接
因为⽹络越深，梯度就越容易出问题，捷径连接的⽅式⼀定程度上缩减了损失的⽅向传播途径，减少了梯度⻛险

学会设计和实现卷积神经网络结构

七、掌握常见的深度学习损失函数

1. Softmax Loss/Softmax Cross Entropy Loss
   softmax的输出向量是该样本属于各个类的概率
   
   举个例子：假设你的WX=[1,2,3]，那么经过softmax层后就会得到[0.09,0.24,0.67]，这三个数字表示这个样本属于第1,2,3类的概率分别是0.09,0.24,0.67。
   
   

2. BCE

3. L1 Loss 平均绝对误差，L1损失
   

4. Smooth L1 Loss/Huber Loss
   
   在坐标原点转折平滑

5. Focal Loss
   为了解决目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重
   

6. Dice Loss
   

八、深度学习目标检测

深入理解YOLO V3和Faster R-CNN系列的目标检测算法及其技术细节，归纳其相同之处和不同之处，及各自的优缺点

two-stage检测算法将检测问题划分为两个阶段，首先产生候选区域，然后对位置精修后进行候选区域分类。two-stage检测算法识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景，比如视频目标检测中。
one-stage检测算法不需要产生候选区域阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，但是一般识别精度和准确度上比two-stage的算法要差一些。

了解SSD和Mask R-CNN目标检测算法

九、深度学习图像分割

深入理解FCN和U-Net语义分割网络的原理，及其相同之处和不同之处

FCN
不含全连接层(fc)的全卷积(fully conv)网络。可适应任意尺寸输入。

• 增大数据尺寸的反卷积(deconv)层。能够输出精细的结果。
• 结合不同深度层结果的跳级(skip)结构。同时确保鲁棒性和精确性。

了解DeepLabs，Mask R-CNN等前沿的语义分割算法。