逻辑回归理解

第三天系统学习。

1.二分类问题，希望能够找一条边界把样本划分开来，例如下面这个图

       线性回归是找一条线尽量的穿过所有样本，而不是找一条边界隔开，这时候希望函数输出的值为两个0-1，如果是红色的就是1，绿的就是0，越像红色就越接近于1，越像绿色就越接近0.这里有一个概率函数Sigmod（）函数。它的输出y值在0-1之间，符合二分类问题，这里的推导是可以从数学方面直接推导出来的，推导过程比较麻烦不太想写，简单介绍一下，首先是根据朴素贝叶斯公式推导出sigmod方程，根据最大似然估计和高斯分布的除伯努利分布，交叉熵（cross entropy），感觉知道怎么用就好了。

将θTX带入到sigmod方程中就可以将结果限制在0-1之间，这样就得到了预测函数，当h>0.5（可以自行设置）的时候可以认为该样本属于第一类，h<0.5的时候属于第二类，h=0.5可以任意一类，这个0.5可以设置为任何数比如0.7，这样对与第一类的查找就更加严格了。

下面举个例子，当θ已知的时候，画出决策边界。

2.损失函数

已经有了预测函数，如何将θ最优解找出来就需要一个损失函数，来表示当前值和最优解的差距。因为是二分类任务，当y=0的时候就可以用1-h来表示，将两个方程整合一下。

与线性回归一样，将概率用似然函数

同样的求一下log

这里的L为cross entropy

3.逻辑回归+梯度下降

首先先对L进行求导，为了梯度下降的时候求的切线方向

发现逻辑回归和线性回归梯度下降方程基本一致，只是h不一样，这里的h是sigmod方程，线性回归的h是θX。

4.多类别分类softmax