学习笔记-(mit deep learning)2019-06-03

深度学习的挑战
提问正确的问题 和 给出正确的答案
（图片分类 <> 场景理解）
选择，收集，组织好的数据训练模型
（照片 <> 综合 <> 真实世界的帧）
纯粹的感知是很难的
视觉理解是很难的
不能做好的例子
镜像
稀疏信息
3d 构建
人类的心情
下一刻发生什么
幽默
数据增强
切割、翻转、缩放、旋转、转化、增加噪声

神经网络的学习方式：反向传播
1、前向传播，计算输出和损失
2、反向传播，计算梯度
3、从权重梯度中减去权重梯度的一部分
计算硬件
cpu：串行、多用途、每台电脑都有
gpu：并行、多用途
tpu：用户定制的有特殊用途的集成电路、谷歌出品、专用于机器学习、低精度

激活函数：
sigmoid、Tanh、ReLU

损失函数：
回归：均方误差(MSE)

分类：交叉熵损失

小批量大小：网络进行一次参数更新的参考（根据实例计算梯度）实例数量，如果批量增大，则完成一个epoch的时间缩短，如果批量减少，则经验上会有更好的泛化效果。
Epoch：在整个训练集上的一次迭代
Batch：我们不能一次将整个训练集喂给网络，所以我们需要哦将数据集分批作为网络输入
iteration：一个batch数据从前向传播到反向传播再到参数更新的全过程

小批量的批量大小太大有害健康、即它会导致很坏的测试错误。不要使小批量的大小大于32。

防止过拟合：
1、当在验证集的表现开始变差时应该停止训练或者至少应该存储checkpoint
2、dropout(usually p>= 0.5)：出入层应该有更高的dropout率
3、权重衰减：
4、权重惩罚：L1，L2
5、标准化：输入数据标准化（根据均值或方差）、批标准化——BN（根据批的均值或方差标准化隐层输入）、BR(BR的解释见下面图片)

6、其他方法：Layer normalization(LN)——conceived for RNNs、Instance normalization(IN)——conceived for style Transfer、Group normalization(GN)——conceived for CNNs
深度学习在图像中的应用CNN
AlexNet(2012)、ZFNet(2013)、VGGNet(2014)、GoogLeNet(2014)、ResNet(2015)、CUImage(2016)、SENet(2017)

自编码器
是一种非监督学习方法，类似于PCA，可以对输入数据进行降维，通过这个方法可以达到压缩数据同时提取数据精华的作用，用于深度学习中，可以让网络处理自编码器的输出（数据的精华），从而提高模型训练速度。
对抗生成网络