深度学习短视频笔记

 

输入和输出的关系由模型来描述，整理好数据的下一步是选择适当的模型。

前馈神经网络（隐藏层）：在线性模型的基础上增加若干次（线性模型+非线性模型（激活函数）的组合）。如图在线性模型前再加两个线性模型，并且两个线性模型后都加一个ReLU非线性函数。效果：当输出小于0时取0，否则不变。

 

梯度就是大小为导数的值，方向指向误差值增加最快方向的向量。梯度指向误差值增加最快方向，让参数向梯度相反的方向更新，从而减少误差值。

回归任务常用均方误差来作为误差函数，分类任务用交叉熵与softmax输出函数一起使用。

如学习率，迭代次数，一次迭代的个数这种不是模型参数但又影响训练结果的因素叫高参。