第三天系统学习。
1.二分类问题,希望能够找一条边界把样本划分开来,例如下面这个图
线性回归是找一条线尽量的穿过所有样本,而不是找一条边界隔开,这时候希望函数输出的值为两个0-1,如果是红色的就是1,绿的就是0,越像红色就越接近于1,越像绿色就越接近0.这里有一个概率函数Sigmod()函数。它的输出y值在0-1之间,符合二分类问题,这里的推导是可以从数学方面直接推导出来的,推导过程比较麻烦不太想写,简单介绍一下,首先是根据朴素贝叶斯公式推导出sigmod方程,根据最大似然估计和高斯分布的除伯努利分布,交叉熵(cross entropy),感觉知道怎么用就好了。
将θTX带入到sigmod方程中就可以将结果限制在0-1之间,这样就得到了预测函数,当h>0.5(可以自行设置)的时候可以认为该样本属于第一类,h<0.5的时候属于第二类,h=0.5可以任意一类,这个0.5可以设置为任何数比如0.7,这样对与第一类的查找就更加严格了。
下面举个例子,当θ已知的时候,画出决策边界。
2.损失函数
已经有了预测函数,如何将θ最优解找出来就需要一个损失函数,来表示当前值和最优解的差距。因为是二分类任务,当y=0的时候就可以用1-h来表示,将两个方程整合一下。
与线性回归一样,将概率用似然函数
同样的求一下log
这里的L为cross entropy
3.逻辑回归+梯度下降
首先先对L进行求导,为了梯度下降的时候求的切线方向
发现逻辑回归和线性回归梯度下降方程基本一致,只是h不一样,这里的h是sigmod方程,线性回归的h是θX。
4.多类别分类softmax