分类损失函数多元分类_机器学习-分类问题（Classification）

知乎文章若有排版问题请见谅，原文放在个人博客中【欢迎互踩！】

分类问题概述

分类问题是我们日常生活中最常遇到的一类问题，比如垃圾邮件的分类，识别我们所看到的是汽车还是火车抑或是别的物体，再或者去医院医生诊断病人身体里的肿瘤是否是恶性的，这些问题全部都属于分类问题的范畴。那么我们在机器学习中遇到此类问题该怎么做呢？

我们可能首先会想，为什么不能用之前线性回归的方法来处理分类问题呢？答案其实是可以，不过我们在计算损失函数时需要对预测值远远偏离真实值的对象进行打击。理由也很简单，因为这些过大的偏差会使我们的回归结果向减小这类偏差的方向移动，造成下图所示的结果。

很显然，这种做法并不是分类问题的最优解决方案，接下来我们研究一种可靠的分类问题的解法。

二元分类问题(Binary Classification)

首先，我们从二元分类问题开始入手。何谓二元分类问题？通俗讲就是只有两个类别的分类问题，如是不是垃圾邮件，是不是恶性肿瘤这类非黑即白的问题，我们就称之为二元分类问题。

概率解法

如果有两个类别

，里面分别包含了

个元素。现从两个类别中随机挑出一个元素x，该元素x来自

的概率可由贝叶斯公式算出：

在这个公式中，

的值显而易见：

接着，我们假设元素x是从多维高斯分布(GaussianDistribution)中选取出来的，则有：

在这个表达式包含两个参数：均值