七月组队学习总结-李宏毅深度学习

第二次参加Datawhale组织的学习活动，这次相较上期的图神经网络要略微简单些，但也受益良多。本文将梳理各项任务最重要、核心的知识点，希望能够对读者有所启发。

task1 机器学习简介

机器学习的实质是，寻找一个合适函数，能够基于输入，输出人类想要的结果。

机器学习的三步骤：定义函数集合、确定函数评价方法、寻找最好的函数。

不同的 model 就是不同的 function set。Model有很多种，最简单的就是线性模型，非线性的模型中最耳熟能详的就是Deep learning。

厉害的AI，AI训练师功不可没。AI在替代一部分工作的同时，也创造了一些工作。

task2 回归

回归被定义为一种数值（scalar）预测的技术，区别于分类（类别预测技术）。

为选择合理的模型框架，提前对数据集进行探索，观察变量间的关系是很有必要的，这将决定最终将哪些变量放入模型，以及是否需要对变量进行再次处理（二次项、取倒数等）。

好模型不仅要在训练集中表现优异，在未知的数据集（测试集，真实应用场景）中也应该一样。

若模型过于简单，则模型集合较小，可能无法包含真实的模型，即出现欠拟合问题。但如果我们继续使用更高次的模型，可能会出现过拟合问题。

task3 误差来源和梯度下降法

误差的出现就像打靶，靶心是我们的目标，投掷的结果就是估测值，距离靶心的距离就是误差。误差来源于投掷时的方向（bias）以及手的稳定性（variance）。

训练集和测试集的样本分布不一致，会导致在训练集中估测的模型难以适用于测试集中。为了解决这个问题，目前的主流方法是使用N折交叉验证。

模型的架构决定了偏差（bias），样本的规模决定了方差（variance），同时要注意的是，模型的架构越复杂对样本规模的基本要求也越高。

理论上每次更新参数都想要损失函数减小的话，就需要学习率足够足够小。实际中，当更新参数的时候，如果学习率没有设好可能是不成立的，所以导致做梯度下降的时候，损失函数没有越来越小。

task4 深度学习简介和反向传播

深度学习实质上就是有很多层的神经网络，最基本的组件是类似人类的神经元（neuron）。

经过手动设置，我们可以构建不同的神经元，也可以通过自由组合连接很多神经元来构建不同的神经网络模型，就像是"搭积木"一样。当然，不同的构建方式会影响模型性能的好坏。

根据普遍性定理： 对于任何一个连续的函数，都可以用足够多的隐藏层来表示。

不管的变宽还是变高，参数增加时性能都会提升。但是，在相同参数下，network变高比变宽的帮助更大。

task5 如何训练类神经网络

深度学习因其较高的复杂性和众多的参数，我们很不容易训练出好的模型，模型也缺乏可解释性，因此深度学习从业者一般也自嘲自己是“炼丹师”。

梯度近似为0的时候，训练损失几乎不再改变，此时损失可能达到了全局最小值，也有可能停在了局部最小值（Local Minima）和马鞍点（Saddle Point）。

如果遇到了 saddle point，不用担心，可以通过 Hessian 计算出可行的方向进行参数更新。

在高维空间中，Local Minima几乎不会出现，因为不大可能所有的维度的梯度都近似为0。

除了 critical point 的问题外，我们经常遇到的问题是损失函数不变，梯度却来回振荡。

Adam 是目前最常用的模型训练方法，需要设置超参数。但是默认的超参数设置已经很好了。

task6 卷积神经网络

图像和文本、视频和音频等数据一样，都是非结构化的，需要先转化为结构化数据后才能被进一步处理。转化的方式（即建模方法）会影响所保留信息的数量和质量，进而影响最终的处理效果。

图像数据的特征包括Small Region、Same Patterns和Subsampling三种，由卷积神经网络的卷积层和池化层所考虑到。