datawhale李宏毅机器学习——task04“深度学习简介和反向传播”

深度学习有三个步骤：
①选择神经网络
②模型评估
③选择最优函数
神经网络是由神经元按照一定结构连接而成的。经典的连接方式是全连接前馈神经网络：全连接指上一神经层与下一神经层之间两两相连。前馈指的是信息由输入层传递到输出层，流动方向是由后往前传。
深度学习中的深度指的是隐藏层有很多层，比如经典的Alexnet有8层，vgg有19层。层数越多，虽然会降低模型的错误率，但运算量也会随之增大。深度学习的本质可以看做通过中间的隐藏层来对输入数据进行特征提取，输出层将隐藏层的输出当做输入，然后通过一个多分类器得到最后的输出。
模型评估：一般用损失函数来反应模型的好坏，对于神经网络来说，采用交叉熵函数对输出预期值和实际值进行计算，然后调整参数，让交叉熵越小越好。对于损失，不仅仅是计算一个样本的损失，而是要计算所有训练样本的总体损失L，然后优化神经网络参数来最小化总体损失L。
那如何找到最好的一组参数呢？通过反向传播。
反向传播如何做到的呢？
随机初始化一个参数，计算这个参数的偏微分，将偏微分乘以学习率得到一个δ值，将参数原始值减去δ值得到新的参数。重复上述过程直到δ几乎不变。