机器学习（四）：损失函数

在上上一节逻辑回归中，是使用似然函数来作为模型的求解参数的目标。
但在很多情况下，似然函数很难直接写出，更常用的方法是损失函数，这个在上上一节的补充中也有提过。
那么损失函数表示什么概念呢？

和似然函数相反，损失函数是模型预测失败的度量。

注意最大化似然函数和最小化损失函数两者并不能完全等同，因为这涉及到所选取的参数。
对于机器学习模型来说，选择哪一种都符合模型求解的规则，关键在于选择哪一种标准（最大化似然函数or最小化损失函数）能够进行求解。

损失函数分为两个部分：损失向，正则项

损失项

损失项即代表模型误判的度量，这和与上面说的损失函数的意义是一致的。
在介绍各类损失之前，先简单说明样本的数据，并引入几个自定义参数。
从最简答的二分类开始，样本数据如下 (xi,yi)，其中xi是样本的属性，yi是该