ML基石_10_LogisticRegression

logistic regression problem

Y是概率的情况

现实生活中，有一些问题，不仅需要分类01，还需要给出分类的概率。这种情况下的target function是：

$$f(x)=P(+1| x )$$

相同数据不同目标函数

logistic regression用到的数据和linear classification用到的数据一样，但是却需要得到概率输出的Y值。

logis假设集

既然数据是01型的，需要的y是概率型的，那么我们的假设集肯定得输出概率型的y，且范围在[0,1]。

使用logistic假设集，将输出限制到[0,1]之间。

logistic regression error

有了假设集H(logistic的假设集)，就需要演算法A去选出合适的假设集，但是需要有合适的标准才可以选择啊，首先回归之前学过的error measure。

error already stydied

likelihood

研究error的测量，就是研究以什么样的标准，去评判构建出来的g是否真实趋近于f。

首先，可以算出以f表示的，当前数据出现的概率，当前数据已经出现了，那么这个概率应该很大。同时，在计算出以g表示的概率，这个概率应该likelihood f，所以同样应该概率很大。

这样，就把问题转化成了最大似然的优化问题。

优化化简

gradient for lr error

上文中，得到了$E_{in}$，那么如何求解这个优化问题呢

Ein的性质

连续可微，二次倒数存在，凸函数

Ein梯度的计算

Ein梯度等于0的计算

很困难

迭代算法

gradient descent

descent的方向

梯度方向是函数增长最快的方向，这里求解的问题是最小值的优化问题，方向应该是梯度的反方向。

迭代速度的选择

太快的话可能好可能差，原有公式中的假设不存在，所以存疑。

汇合

总结