Classification: Probabilistic Generative Model

Classification

我们来看看分类算法主要用于哪些地方？通过你的收入，存款，职业，年龄等特征去预测你是否能贷款；还可以通过当前症状，年龄，性别等特征预测开哪种药。。。。

举个例子，宝可梦的种类判断。皮卡丘是雷，杰尼龟是水，妙蛙花是草。

宝可梦的特征有HP，攻击力，防御力，特殊攻击力，特殊防御力等。

现在我们的任务是去判断类别，这与regression不一样，regression的每一个output都是未知的，而分类问题是我已经知道了有哪些类，然后我把任意一只宝可梦的数据往function里放，然后输出值就是具体将这只宝可梦放到哪个类。

use regression??NO!

假设我们还用regression，然后处理一个二分类问题，也就是要么是class1，要么是class2.。那么，我们假设regression的输出值1代表class1，-1代表class2，那么只要输出值接近1的就可以判定为class1，输出值接近-1的判定为class2，如下图所示：

如下图左边所示,这是我们考虑两个特征值的情况，绿色是分界线，也就是输出值为0，红色表示class2，蓝色表示class1，如果输出了有些点远大于1，那么这些点是有问题的，为了使远大于1的点缩小与1的距离，regression这条线会向右偏，这时该分类的效果就很烂了。如果变成多分类问题，下图将会变得很复杂，所以regression不太得行。

use Bayesian??yes!!

下图是最简单的贝叶斯公式的应用。

我们将上面的box换成class，道理一样

前置准备，水属性的样本占0.56，正常属性的样本占0.44

这时，来了一只什么龟？那它应该属于哪一个属性？每一只宝可梦的各个属性都由特征向量表示。

现在，我们只看防御力和特殊防御力这两个属性。我们将这两个特征值写成一个二维向量。如下图，假设图中的点来自于高斯分布，那可达鸭和杰尼龟的p{x|Water}=?很好算，但是在高斯分布之外的那只什么鬼的p{x|Water}=0吗？？当然不是！！

Gaussian Distribution

我们来看看下面高斯分布的公式，当然这是多元的，也就是有两个特征值的(二维特征向量)，下面第三张图有中文解释。

如下图，有79只已知的水属性宝可梦，那么这79个宝可梦是在某高斯分布中取的样，当又抓了一只新的宝可梦时，通过上述公式将x的二维特征向量代入，就可以求出在水属性的条件下是这只x宝可梦的概率。那么我们要怎样找这个高斯分布呢，也就是找μ和∑。

how to find μ and ∑

这79个点可能由任何一个高斯分布sample，所以我们采取最大概率法，给我一个高斯分布μ和∑，我将79个点的二维向量得到的概率连乘。我们取连乘之后结果最大的那个。


下图的两个分类的μ和∑互不相同，也就是高斯分布不同

现在我们分别计算一下这些点的概率，如下图：

如下图，前两张是用两个特征值的情况下的分类，精确率在47%，很明显烂掉了；那么我再把剩余几个特征值加上，发现精确率到了64%，这还是烂。

现在，我们修改model，将两个∑统一成一个∑

最大概率法更改为如下形式：μ1和μ2有相同的∑。

修改model后，分类结果变成下图右边那样，被一条直线切分，当把所有特征都加上时，准确率到了73%

conclude

如下图一个p(x|C1)可以拆分成各个一维的高斯分布，如果所有的特征都独立，那么就可以用朴素贝叶斯了。

下图最下面两个公式是西瓜书中单个特征值的公式：也就是上面所说的一维高斯。

一个有趣的变形，这个sigmoid就是神经网络里面的激活函数。

Warning of Math

End of Warning

我们可以发现，经过上面和下面的推理，最终P(C1|x)=σ(wx+b),这也解释了刚刚寻找μ和∑那公用∑时，为什么分类的线会是直线。