深度学习课堂笔记 5.21

深度学习课堂笔记

Alexnet

特点：采用了ReLU激活函数
1、计算简单
2、反向传播计算容易
3、不容易出现梯度发散问题
4、很多隐层输出为0，使得网络稀疏
5、某些节点坏死，始终输出为0（因为输出为0的节点没法更新权重）
6、容易改变数据的分布（可以使用BN来缓解）

Dropout技术
有选择地忽视某些神经元，起到稀疏的作用

最大池化技术（Maxpool）
避免平均池化的模糊效果
步长小于池化核大小

批梯度下降
数据扩充/增强
翻转、平移、镜像、缩放，防止过拟合

VGGNet

网络层数增加到了16-19层
卷积块由2~3个卷积层组成，增加感受野，降低网络参数
使用ReLU
数据增强

ResNet

当层数过多时，精度迅速下降
网络过深导致难以训练
原因：层数过深 导致梯度消失或者爆炸
残差神经网络 152层卷积神经网络
跳层连接&恒等映射
本质和LSTM的GATE类似

总结

卷积神经网络优化

卷积核小型化
池化层改进：L-P池化、混合池化、随机池化
激活函数改进：ReLU、ELU、PReLU
损失函数：交叉熵

卷积网络应用

机器视觉：图象分类、目标检测/跟踪、语义分割、实例分割
计算机图形学：建模、渲染
自然语言处理

高老师语重心长地说：学任何东西都要注重本质！！！！！！
不能记个公式就大吉了！！！！！！！