深度学习课堂笔记
Alexnet
特点:采用了ReLU激活函数
1、计算简单
2、反向传播计算容易
3、不容易出现梯度发散问题
4、很多隐层输出为0,使得网络稀疏
5、某些节点坏死,始终输出为0(因为输出为0的节点没法更新权重)
6、容易改变数据的分布(可以使用BN来缓解)
Dropout技术
有选择地忽视某些神经元,起到稀疏的作用
最大池化技术(Maxpool)
避免平均池化的模糊效果
步长小于池化核大小
批梯度下降
数据扩充/增强
翻转、平移、镜像、缩放,防止过拟合
VGGNet
网络层数增加到了16-19层
卷积块由2~3个卷积层组成,增加感受野,降低网络参数
使用ReLU
数据增强
ResNet
当层数过多时,精度迅速下降
网络过深导致难以训练
原因:层数过深 导致梯度消失或者爆炸
残差神经网络 152层卷积神经网络
跳层连接&恒等映射
本质和LSTM的GATE类似
总结
卷积神经网络优化
卷积核小型化
池化层改进:L-P池化、混合池化、随机池化
激活函数改进:ReLU、ELU、PReLU
损失函数:交叉熵
卷积网络应用
机器视觉:图象分类、目标检测/跟踪、语义分割、实例分割
计算机图形学:建模、渲染
自然语言处理
高老师语重心长地说:学任何东西都要注重本质!!!!!!
不能记个公式就大吉了!!!!!!!