凸函数与凹函数

    最近在学机器学习的逻辑回归，它的思路很简单，最开始我们做的是线性回归，也就是根据已知样本拟合出一条能够描述其分布的线来，而它的评价标准是最小平方差。

    为什么是最小平方差，而不是诸如差的绝对值之类的评价指标，这个就涉及到“最小二乘法”的思想，我们认为线性回归的预测值与真实值之间的差值是符合高斯分布的，对这个的评估就转化为对正态分布表达式中参数的评估，用极大似然估计，便得到损失函数的表达式。

    那为什么逻辑回归用的是对数损失函数呢？之前视频的解释是最小平方差会导致损失函数为非凸函数，而非凸函数面临的一个问题就是，有多个局部最优解，使损失函数达不到全局最优。

    逻辑回归假设样本满足的是伯努利分布（也就是0-1分布），这也是区别于线性回归的地方。