代价函数（损失函数）的理解

1. 代价函数的目的：通过梯度下降法或者BP算法来训练模型中的参数。
2. 代价函数的意义：表征模型输出与标签值之间的差异。
3. 代价函数的形式：是关于所有超参数w的函数。
4. 代价函数选取的标准：（1）可导。
   （2）满足凸函数的条件，可以方便用梯度下降法求解最小值。
5. 代价函数训练模型的方法：
   通过使得代价函数取得最小值对应的超参数，即为模型最终的参数。
   举例：
   1- 线性回归代价函数：
   线性回归中的代价函数：
   
   线性回归代价函数的实际意义就是平方误差。而逻辑回归却不是，它的预测函数hθ(x)hθ(x)是非线性的。如果类比地使用线性回归的代价函数于逻辑回归，那J(θ)J(θ)很有可能就是非凸函数，即存在很多局部最优解，但不一定是全局最优解。我们希望构造一个凸函数，也就是一个碗型函数做为逻辑回归的代价函数。

2- 逻辑回归代价函数：
按照求最大似然函数的方法，逻辑回归似然函数：

其中m表示样本数量，取对数：

我们的目标是求最大l(θ)l(θ)时的θ，如上函数是一个上凸函数，可以使用梯度上升来求得最大似然函数值(最大值)。或者上式乘以-1，变成下凸函数，就可以使用梯度下降来求得最小负似然函数值（最小值）：

注：平方误差函数的优点：（1）避免正负误差抵消。（2）变成可导函数，可以用来求偏导。