有监督分类：概率分类法（Logistic）

1.前言

前面我介绍的都是确定模式所属类别的模式识别算法。对于模式基于概率进行分类的手法称为概率分类法。这是这一篇博客重点讨论的内容。

基于概率的模式识别，是指与模式x所对应的类别y的后验概率p(y|x)进行学习。其所属类别为后延概率达到最大值时所对应的类别。

类别的后验概率p(y=y'|x).可以理解为模式x属于类别y的可信度。通过这样的方法，在可信度非常低的时候就不用强行进行分类，从而避免了错误分类，而且可以设置一些实用的选项，比如吧这样的样本丢掉。另外，基于概率的模式识别还有一个优势，就是对于多种类别分类问题通常会有较好的分类结果。

2.Logistic回归

先谈一谈简单又实用的Logistic回归。

2.1 Logistic模型的最大似然估计

Logistic回归，使用线性对数函数对分类后验概率p(y|x)进行模型化。

上式中，分母是与所有的y=1,...,c对应的，满足概率总和为1的约束条件的正则化项。上述的模型q(y|x:Θ)中包含的参数{Θj}j=1->b，在每个类别y=1,...,c中都不一样，因此包含所有参数的向量Θ有bc次维。

Logistic回归模型的学习，通过对数似然为最大师的最大似然估计进行求解。

似然函数是指，将手头的训练样本{（xi,yi）}i=1->n由现在的模型生成的概率，看作是关于参数Θ的函数，对数似然是指其对数：