CS231n Optimization: Stochastic Gradient Descent

loss function

loss function是优化的源泉，不同的loss function会有不同的效果，比如说svm的loss和softmax，svm相当于就是点到为止，经过映射之后，只要两者的差距要比delta大，那么其实就满足了，而softmax永不满足，一个概率分布，只要错误的概率有一点概率的话，其实都是有可能的。

optimization

第一个是在所有的参数空间随机搜索，俗话说，女人心海底针，不过这种方法和海底捞针差不多。

第二个方法是在局部空间随机搜索，也就是首先rand一个随机的起点，然后在邻域中随机搜索，比上一个要稍微好一些，上一个在每一步是在跳动的，但是这一个至少是局部的，跳动的幅度稍微小了一点。

第三个方法是梯度下降
梯度下降的方法实际上更有用一些，因为每一步都可以靠向最优解。

computing the gradient

计算梯度有两种方法，分别是数值计算梯度和通过微积分来计算

感觉其实和cs229有重叠的地方。