吴恩达机器学习心得一:线性回归和逻辑回归的代价函数选择

在目前的实践中，线性回归的代价函数应方差函数，逻辑回归用最大似然函数，为什么这么选择？背后都有复杂的统计学原理和推导，而且两者都是凸函数，适合求导来用梯度下降法求最优解，所以初学只要知道用什么代价函数即可，清楚一些概念就可以，没有必然一定要了解背后的统计学推导过程。

另外，逻辑回归中多了一个sidmoid函数，是为了让输出的值是在0-1的概率，所以用了这个处理方式。然后用这个概率的对数来反应损失（代价），比如，1的对数是0.