机器学习（三）Loss函数优化：梯度下降法

线性回归，逻辑回归，Softmax分类器，LinearSVM等算法都能够简单的分解成scoreFunction的设计与LossFunction的求解两部分，具体分解如下表所示：

ClassifierName	ScoreFunction	LossFunction
LinearSVM	$s=W^{T}X$	$L=max(0,1-s)$
LinearRegression	$s=W^{T}X$	$L=(s-label)^{2}$
LogisticRegression	$s=W^{T}X$	$p=\frac{1}{1+e^{-s}};L=label\bullet log(p)+(1-label)\bullet log(1-p)$
SoftmaxClassifier	$s=W^{T}X$