深度学习面试
关注
分享
扫一扫
文章平均质量分 80
一条咸鱼摆摆
这个作者很懒，什么都没留下…
展开
-
深度学习面试基础--训练参数更新方法
想象一下纸团在山谷和鞍点处的运动轨迹，在山谷中纸团受重力作用沿山道滚下，两边是不规则的山壁，纸团不可避免地撞在山壁，由于质量小受山壁弹力的干扰大，从一侧山壁反弹回来撞向另一侧山壁，结果来回震荡地滚下；momentum即动量，它模拟的是物体运动时的惯性，即更新的是时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。SGD就是最常听到的随机梯度下降方法，是使用参数的梯度，然后沿梯度的方向更新参数，并重读这个步骤多次，从而逐渐靠近最优参数。学习越深入，更新的幅度就越小。...原创 2022-08-02 07:00:00 · 1004 阅读 · 0 评论 -
深度学习面试基础--BN层
深度学习中BN层的相关介绍原创 2022-08-01 09:58:34 · 6739 阅读 · 0 评论 -
深度学习面试基础--激活函数篇
激活函数的作用激活函数对于人工神经网络模型去学习、理解复杂和非线性的函数具有十分重要的作用。可以将非线性特性引入到网络中。如果不用激活函数，每一层的输入都是上一层输出的线性函数，无论神经网络有多少层，输出都是输入的线性组合。............原创 2022-07-31 15:57:22 · 417 阅读 · 0 评论