4.2 Probabilistic Generative Models
分类问题的生成模型:model p(x|ck),p(ck),再用Bayesian公式推导出p(ck|x)。对于“两类问题”,有:
其中a的定义如下:
其中有logistic function:
对K>2类分类问题,将logistic扩展到K类,即使用softmax function来解决。softmax的预测函数如下:
即对每一个分类K都要有一个相应的预测值,分母是为了保证概率之和为1。当K=2使,可以推导出softmax即logistic。在分类之前,还要对p(x|ck)和p(ck)建模,下面来看看当x分别为连续型变量和离散型变量时,不同的建模方法。
4.2.1 Continuous inputs</