![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SGD
Trasper1
The future awaits
展开
-
关于神经网络的训练与优化的一些想法。Thoughts about optimization & training in Neural Networks--back propagation & SGD
一个神经网络是一个遵循连接原则级联构成的函数逼近器(function approximation)。这个function将输入x转化成输出y。以image classification为例,x是图片,y是labels。 对于一个神经网络的训练,是指通过trail-and-error来获得网络中所有参数w的最优值。当网络中所有参数都取得最优值时,该网络针对某个损失函数可以在给定样本集上得到最低lo...原创 2018-12-05 15:59:28 · 593 阅读 · 0 评论 -
关于Stochastic Gradient Descent和机器学习的优化问题
给定一个问题以及相应的data (是一个sample pair(x,y)),若采用机器学习的手段来解决,那么要分两步走: 1. 模型选择:即选定一族函数 F,这个大F可以是SVM,linear regression,boosting,或者nerual networks(neural network就是一个funciton approximator)等等。 2. 模型参数估计:选定了模型即选定...原创 2018-12-05 18:17:36 · 1145 阅读 · 0 评论