线性回归的损失函数与逻辑回归的损失函数

一、线性回归损失函数的两种解释

线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。
在线性回归中，对于训练数据样本$(x_i,y_i)$，我们有如下的拟合直线：

$$\widehat{y_i}=\theta\cdot x_i$$
构建的损失函数是：
$$C=\sum\limits_{i=1}^{n}{(y_i-\widehat{y_i})^2}$$
表示每一个训练点 $(x_i,y_i)$到拟合直线 $\widehat{y_i}=\theta\cdot x_i$的竖直距离的平方和，通过最小化上面的损失函数可以求得拟合直线的最佳参数 $\theta$。
这里的损失函数之所以使用平方形式，是使用了“最小二乘法”的思想，这里的“二乘”指的是用平方来度量观测点与估计点的距离（远近），“最小”指的是参数值要保证各个观测点与估计点的距离的平方和达到最小。
第二种解释是 极大似然估计误差的思想，暂时没搞明白，先保留。参考： http://blog.csdn.net/saltriver/article/details/57544704

二、逻辑回归的损失函数

逻辑回归的损失函数使用的是对数损失函数，而不是平方损失函数。平方损失函数是线性回归在假设样本满足高斯分布的条件下推导得到的，而逻辑回归假设样本服从伯努力分布（0-1分布）。
伯努利分布的概率质量函数pmf为：

P(X=n