损失函数和成本函数详解

损失函数（误差函数）

概念：损失函数是再单个训练样本中定义的，该样本中可以有多个特征参数。

作用：可以用来衡量算法的运行情况，通过定义损失函数L来衡量预测值的输出$\hat{y}$和真实值$y$之间的接近程度，其值越小越好。

线性回归损失函数

$$L(\theta )=m\cdot \log \cdot \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}(y-\theta x{)}^2$$

由于$m\cdot \log \cdot \frac{1}{\sqrt{2\pi }\sigma }$恒大于0，因此损失函数化简为：

$$L(\theta )=\frac{1}{2}(\theta x-y{)}^2$$

逻辑回归损失函数

$$L(h_{\theta }(x),y)=-(y\log h_{\theta }(x)+(1-y)\log (1-h_{\theta }(x)))$$

成本函数

概念：成本函数是在全体训练样本上定义的，是基于参数$(\theta ,b)$的总成本，可以理解为是所有损失函数总和的平均值，其值越小越好，它可以找出最合适的参数$\theta 和b$。

线性回归成本函数

$$J(\theta )=\frac{1}{2M}\sum _{i=1}^n({\theta }^T{x}^i-y^i{)}^2$$

逻辑回归成本函数

$$J(\theta )=-\frac{1}{M}\sum _{i=1}^n(y^i\log h_{\theta }(x^i)+(1-y^i)\log (1-h_{\theta }(x^i)))$$

损失函数和成本函数之间的关系

     一组样本可以得到一个$L(\theta )$损失函数，全体样本可以得到$J(\theta )$成本函数，由此可知所有的$L(\theta )$累加后的平均值就是$J(\theta )$，即
$$J(\theta )=\frac{1}{M}\sum _{i=1}^n\cdot L(\theta )$$
也可得到求偏导公式：
$$\frac{\delta }{\delta \theta }J(\theta )=\frac{1}{M}\sum _{i=1}^n\frac{\delta }{\delta \theta }L(\theta )$$