梯度下降
文章平均质量分 56
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS231n课程笔记3.2:梯度下降
CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。课程笔记上一篇 CS231n课程笔记3.1:线性分类器(SVM,softmax)的误差函数、正则化介绍了线性分类器的最后优化的目标函数,这节介绍优化方法:梯度下降。梯度下降不仅可以用于解线性分类器,还可以用于优化任意目标函数,得到局部最优解,只是因为线性分类器+原创 2016-12-16 16:52:41 · 763 阅读 · 0 评论 -
CS231n作业笔记1.5:Softmax的误差以及梯度计算
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记Softmax的误差函数以及正则项请参考 CS231n课程笔记3.1:线性分类器(SVM,softmax)的误差函数、正则化。 代码部分请参考 python、numpy、scipy、matplotlib的一些小技巧。 注:这里只写了向量化的实现方法,因为非向量原创 2016-12-20 17:35:25 · 2348 阅读 · 0 评论 -
Hinton Neural Networks课程笔记3c:学习逻辑斯蒂回归
这节可以看做反向传播(BP)算法在逻辑斯蒂回归(logistic regression)中的应用。为了进一步拓展BP算法的应用,从线性神经元拓展到了非线性神经元。这里选取了最简单的非线性神经元:逻辑斯蒂输出神经元(logistic output neuron)。损失函数同样选用简单的误差平方和。逻辑斯蒂神经元(logistic neuron) 如上图所示,该神经元只是在线性神经元的输出后面加上一个原创 2017-08-26 20:33:56 · 737 阅读 · 0 评论