PRML 阅读笔记（十三）<4.3>

4.3 Probabilistic Discriminative Models

      这一节中，介绍直接对p(ck|x)建模的判别模型对x进行分类。直接对p(ck|x)进行建模所要拟合的参数要比生成模型少很多，另外当对x|ck的分布假设不太靠谱的时候，生成模型的效果也会很差。

4.3.1 Fixed basis functions

      之前讨论的算法多是在wx+w0的情况下，但这些算法对于对x做一些非线性变化之后仍然适用，而使用这样的非线性变化也有很多的局限性。

4.3.2 Logistic Regression

      根据logistic function直接对C|phi(x)进行建模，有：

      

      明显的，参数要比生成模型少了很多。可以得到似然函数：

           

     对其取log形式，再取一个符号，最大似然变error function，即我们要最小化的目标，对error function求关于w的偏导数，得到了与最小二乘一样的update rule。然而，这个update rule和最小二乘不同，概率解释就不一样，而且其中的yn，一个是w*phi，另一个则是logistic function。

     下面作者又批评了最大似然的方法，好像是说当w->无穷的时候，最大死然只有加入了正则项或者利用MAP才能避免logistic称为heaviside的情况，不知道这个w->无穷是哪来的，最后一段看的不是特别明白。

4.3.3 Iterative reweighted least squares

     这一节其实主要是阐述了用Newton方法更新w。

4.3.4 Multiclass logistic regression

     扩展logistic到K>2,即softmax。

4.3.5 Probit Regression

4.3.6 Canonical link functions

          4.3.5开始论述x|ck不取指数族分布这样的简单分布了，而是开始取高斯混合分布等比较复杂的分布。4.4，4.5是Bayesian观点下的分类模型，这两部分，10页的内容也暂且留下，需要复习一些其它东西，等回过头来再看的时候再补上。