Andrew Ng 《Deep Learning》 Notes

Improving Deep Neural Networks

初始化

• 一般的数据集，训练：开发集=7：3；训练：开发：测试=6：2：2
• 大数据集：几万，99：1，开发/测试：1万就够了
• 扩大网络+正则化：减小偏差不增大方差
• 增加数据：减小方差不增大偏差

正则化

L2

• 一般用L2多于L1
• 通常使用开发集或hold-out交叉验证，来选择正则化参数λ
• 正则化大→w趋于0，则①某些隐藏单元接近0，网络变为更简单的网络；②z=wa+b，z变得很小，tanh激活函数接近线性，网络只能拟合线性函数，不能拟合复杂的非线性，所以不会过拟合
• 若仍然画原来定义的J代价函数，可能不换单调递减，要用加入正则化的新J

dropout

• dropout：反向随机激活，输出除以keepprob=0.8，则有20%概率失活
• dropout原理：①相当于每次训练一个较小的网络，②每个单元有可能失活，倾向于给每个都比较小的权重，压缩平方范数
• 类似L2正则，L2更广泛，cv领域用得多
• 参数多的层留存率可以设置小一点，输入层一般不设
• 代价函数J不明确，在不用dropout时确保J单调递减，用dropout需要用其他方法

建立优化问题

• 归一化：为了让各特征尺度相同，便于优化
• 初始化：Xavier-tanh，ReLU-1/n[l-1]
• 梯度检查：调试时用，记得正则项，检查时不能用dropout，在初始迭代几代时用

优化算法

• 样本<2000可以用批量梯度下降（所有x）
• 一般64-512
• 参数很多，遇到局部最优的概率极小（需要所有维都是凸），更多时候遇到鞍点（一些凸一些凹）

超参数

• 重要性：学习率→动量、批大小、隐藏单元→层数、学习率衰减
• 随机搜索而不是网格搜索（不同参数在每一次都有尝试不同的值），从粗到精
• 对数尺度区间搜索：如r=-4*rand()，α=10^r（越小越密）
• β越接近1越敏感（adam）

BN

• 用BN则不需要b

Structuring Machine Learning Projects

• 正交化

建立目标

• 如果你同时关心多项指标 你可以将其中的一样设为优化指标 使其表现尽可能的好 将另外的一项或多项设为满足指标
• 建立更合适的指标

人类表现水平

• 最小的误差是贝叶斯误差，人类表现比贝叶斯误差相近、稍差

• 若算法训练集误差与贝叶斯误差相差大（偏差大），测试集误差与训练集误差相差小（方差小），则偏差提升空间大

• 对于文本、语音任务容易超过人类水平，而图像任务很难

• 减小偏差：1.增大模型 2.训练更久，用更好的优化（动量，RMSprop，Adam） 3.结构、超参数搜索

• 减小方差：增加数据、正则化（L2、dropout、数据增强）

误差分析

• 挑出一些开发集样本~100，看错误标签的占比。这是训练能达到的天花板。如果某类占比很多，在增加某类数据进行训练能提高较多
• 记录误判类别占比和特点。
• 若错误标签占比小于算法的其他错误则先不修复
• 可以只修复开发和测试集的错误标签

失配问题

• 开发集误差大：高方差/开发集和训练集分布不同-不匹配
• 验证：在训练集中划分一部分作为train-dev set（不参与训练）
• 若dev和teat差太多，需要找个更大的dev
• dev和test服从相同分布
• 观察训练集和测试集不同的地方，使训练集和测试集相似
• 人工合成数据（可能过拟合
• 人类error、training error 、train-dev error、dev/test error

多任务学习

迁移学习

• 迁移学习：小数据-最后一层，大量数据-重新训练更多层
• 全部重新训练：预训练+微调
• 任务A的低级功能对B有用
• 多任务学习数据量更大，性能更好
• 迁移学习比多任务学习用的更多

端到端

• 拆分成子问题比端到端效果更好（数据够多），端到端没有足够的数据。如人脸识别
• 端到端适合机器翻译