SGD
文章平均质量分 63
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS231n作业笔记1.6:神经网络的误差与梯度计算
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记这里实现的是一个两层神经网络(含有一个隐层),激活函数使用的是ReLU,误差函数使用的是softmax,使用了L2正则项。1. scores计算需要注意的有 1. 最后一层不使用激活函数 2. 注意加bias的时候,使用了broadcasting,所以在反向传原创 2016-12-21 16:08:40 · 3446 阅读 · 0 评论 -
CS231n作业笔记1.4:随机梯度下降(SGD)
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记1. 随机梯度下降这部分是对SVM模型进行随机梯度下降,求取近似最优解。关于随机梯度下降的知识请参考CS231n课程笔记3.2:梯度下降,关于SVM的误差以及梯度计算请参考 CS231n作业笔记1.3:SVM的误差函数以及反向传播(非向量及向量算法)。 实践部分原创 2016-12-19 18:40:21 · 1647 阅读 · 0 评论