河南大学《深度学习》课程内容回顾
refer
卷积神经网络系列之softmax,softmax loss和cross entropy的讲解
请问 faster RCNN 和 SSD 中为什么用smooth L1 loss,和L2有什么区别? - 知乎用户的回答 - 知乎
一、人工智能的概念,发展历程及每个历程的特点和代表性理论或算法,或主要驱动力。
人工智能是研究开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支。
历程:
- 崛起:浅层学习,浅层机器学习模型如支撑向量机(SVM,Support Vector Machines)、Boosting、最大熵方法(如LR,Logistic Regression)。驱动力:计算机被广泛应用于数学和自然语言领域,用来解决代数、几何和英语问题。
- 低谷:计算机性能不足,计算复杂,没有足够的数据集
- 崛起:“专家系统”的推出
- 低谷:“专家系统”计算机被淘汰
- 崛起:深度学习,多隐层的人工神经网络和深度神经网络。驱动力:计算机性能的提升和商业应用。
⼈⼯智能三⼤核⼼驱动⼒:算法、数据和计算
人工智能与深度学习的关系
二、人工神经网络ANN的前向传播计算和误差反向回传原理
三、卷积神经网络CNN的前向传播计算和误差反向回传原理
注意对比分析ANN与CNN的相同之处和不同之处,深入理解卷积运算的概念和本质
对于具有大量隐藏层的网络,ANN网络梯度在向后传播时消失或爆炸
掌握卷积后的特征图尺寸的计算方法
P
=
(
F
−
1
)
/
2
P=(F-1)/2
P=(F−1)/2
四、神经网络优化
https://zhuanlan.zhihu.com/p/85978296
最小化(或最大化)损失的过程称为优化,较低的损失意味着我们的模型将表现得更好。
掌握常见激活函数
了解权值初始化的技术
理解训练神经网络的优化技术:SGD,Momentum,Adagrad, RMSProp,Adam等
- “随机梯度下降(SGD)”是优化神经网络的最基本方法。这是一个迭代的过程,我们将多次更新每个权重的值直到损失收敛于合适的值。
缺点:只能到局部最小而不是全局最小值。
- Momentum 动量。模拟物理学中小球从山坡上滚落,到底了还不停继续走,即便重力告诉它应该停止。Momentum 动量就是以便梯度下降算法绕过局部极小值到达全局最小值。
- Adagrad是自适应梯度的缩写。在这种情况下,我们尝试更改每次更新的学习率(alpha)。在每次更新期间,学习率都会以如下方式变化:如果在短时间内对权重进行过多的更新,学习率将降低;如果对权重没有进行多少更新,则学习率将提高。
五、深入理解各种类型的卷积操作
1. NiN,1x1卷积
1X1卷积的作用:
- 降维。如果输入有多个通道,则相当于降维操作,同时提高网络的表达能力。
- 增加了非线性激励(激活函数),大幅增加了神经网络的非线性特征。
- 减少权重个数。
2. Inception块
增加网络深度的同时减少参数个数。
Residual 块
3. 空洞卷积
增大感受野,捕获更多信息。
4. 转置卷积/逆卷积
是上采样的一种方法,提高分辨率
5. 池化,上采样
⼴义上说上采样包含了反池化和反卷积
分组卷积
深度可分离卷积
六、理解掌握常见的面向目标识别(分类)的卷积神经网络
LeNet
AlexNet
VGG
Inception v3
ResNet
使⽤了残差块- -捷径连接的⽅式⼀定程度上缩短了损失的⽅向传播途径,数据可以跨层连接
因为⽹络越深,梯度就越容易出问题,捷径连接的⽅式⼀定程度上缩减了损失的⽅向传播途径,减少了梯度⻛险
学会设计和实现卷积神经网络结构
七、掌握常见的深度学习损失函数
-
Softmax Loss/Softmax Cross Entropy Loss
softmax的输出向量是该样本属于各个类的概率
举个例子:假设你的WX=[1,2,3],那么经过softmax层后就会得到[0.09,0.24,0.67],这三个数字表示这个样本属于第1,2,3类的概率分别是0.09,0.24,0.67。
-
BCE
-
L1 Loss 平均绝对误差,L1损失
-
Smooth L1 Loss/Huber Loss
在坐标原点转折平滑 -
Focal Loss
为了解决目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重
-
Dice Loss
八、深度学习目标检测
深入理解YOLO V3和Faster R-CNN系列的目标检测算法及其技术细节,归纳其相同之处和不同之处,及各自的优缺点
two-stage检测算法将检测问题划分为两个阶段,首先产生候选区域,然后对位置精修后进行候选区域分类。two-stage检测算法识别错误率低,漏识别率也较低,但速度较慢,不能满足实时检测场景,比如视频目标检测中。
one-stage检测算法不需要产生候选区域阶段,直接产生物体的类别概率和位置坐标值,经过单次检测即可直接得到最终的检测结果,因此有着更快的检测速度,但是一般识别精度和准确度上比two-stage的算法要差一些。
了解SSD和Mask R-CNN目标检测算法
九、深度学习图像分割
深入理解FCN和U-Net语义分割网络的原理,及其相同之处和不同之处
FCN
不含全连接层(fc)的全卷积(fully conv)网络。可适应任意尺寸输入。
- 增大数据尺寸的反卷积(deconv)层。能够输出精细的结果。
- 结合不同深度层结果的跳级(skip)结构。同时确保鲁棒性和精确性。
了解DeepLabs,Mask R-CNN等前沿的语义分割算法。