台湾大学林轩田《机器学习基石》学习笔记第11讲——Linear Models for Classification

上一节课我们主要介绍了logistics regression的问题，借助sigmod函数计算得到cross-entropy error交叉熵误差，同时gradient descent梯度降维的方法找到一个好的hypothesis，很好地解决logistics regression问题。
一、Linear Models for Binary Classification

• 在第2讲中，针对有noise的linear classification问题，PLA算法理论上可以找到一个犯错误最少的wg，但这是一个NP-hard的难题；
• linear regression使用的是squared error，因为Ein(w)通常是一个凸函数，可以很容易地找到closed-form solution；
• logistics regression使用的是cross-entropy error，通过梯度降维也可以很好地找到最小的Ein(w)；
• 那么后两者的方法模型是否对linear classification有用呢？
  
• 首先，把三种模型的error function写出来，注意在前两种模型中，我们经过推导均得到一个关于$ys$的式子，这与logistics regression模型中也含有$ys$一致；
• 这里的$ys$是有物理意义的，我们称之为classification correctness score分类的正确率得分，其值越大越好，得分越高。
  
• 我们把三种情况的error function以ys为横坐标在坐标系表示出来：
• 注意到$er{r}_{SCE}$其实是$er{r}_{CE}$通过换底得到的，这样 e r r S C E err_{SCE} err