【Datawhale-机器学习-Task03-对数几率回归】

第三章：对数几率回归
因为之前介绍的回归学习，不满足二分类任务需求，回归模型产生的预测值 是实值，需要将其转换成0/1值。
因此引出Sigmoid函数：

$y=\frac{1}{1+e^{-z}}$
将y作为x的正例可能性，则1-y是其反例的可能性，有
$\ln \frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b$
$\frac{y}{1-y}$称为几率， $ln\frac{y}{1-y}$ 称为对数几率。
$\ln \frac{p\left(y=1\mid x\right)}{p\left(y=0\mid x\right)}=w^{T}x+b$
$p\left(y=1\mid x\right)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$
$p\left(y=0\mid x\right)=\frac{1}{1+e^{w^{T}x+b}}$
通过极大似然法来估计w和b，有
$\ell \left(w,b\right){\sum }_{i=1}^m\ln p\left(y_i\mid x_i;w,b\right)$

$\ell \left(\beta \right)={\sum }_{i=1}^m\ln \left(y_i{p}_1\left({\hat{x}}_i;\beta \right)+\left(1-y_i\right)p_0\left({\hat{x}}_i;\beta \right)\right)$
将$p_0\left({\hat{x}}_i;\beta \right)=\frac{1}{1+e^{\beta T{\hat{x}}_i}}$、$p_1\left({\hat{x}}_i;\beta \right)=\frac{e^{\beta T{\hat{x}}_i}}{1+e^{\beta T{\hat{x}}_i}}$带入上式可得

$\ell \left(\beta \right)={\sum }_{i=1}^m\ln \left(y_i\frac{e^{\beta T{\hat{x}}_i}}{1+e^{\beta T{\hat{x}}_i}}+\left(1-y_i\right)\frac{1}{1+e^{\beta T{\hat{x}}_i}}\right)$
$\ell \left(\beta \right)={\sum }_{i=1}^m\ln \left(\frac{y_i{e}^{\beta T{\hat{x}}_i}+\left(1-y_i\right)}{1+e^{\beta T{\hat{x}}_i}}\right)$
$\ell \left(\beta \right)={\sum }_{i=1}^m\left(\ln \left(y_i{e}^{\beta T{\hat{x}}_i}+1-y_i\right)-ln\left(1+e^{\beta T{\hat{x}}_i}\right)\right)$
由于 $y_i=0或1$，因此
当 $y_i=0$时有， $\ell (\mathbf{\beta })={\sum }_{i=1}^m\left(-\ln \left(1+e^{\beta T{\hat{x}}_i}\right)\right)$
当 $y_i=1$时有， $\ell (\mathbf{\beta })={\sum }_{i=1}^m\left(y_i{\beta }^T{\hat{x}}_i-\ln \left(1+e^{\beta T{\hat{x}}_i}\right)\right)$
综合可得
$\ell (\mathbf{\beta })={\sum }_{i=1}^m\left(y_i{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i-\ln \left(1+e^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i}\right)\right)$

信息论：
自信息：
信息熵：自信心的期望值，用于度量随机变量X的不确定性，值越大代表越不确定。
相对熵：度量两个分布的差异，其典型使用场景是用来度量理想分布p(x)—和模拟分布q(x)之间的差异。

$D_{KL}\left(p\parallel q\right)={\sum }_x^{}p\left(x\right){\log }_b\frac{p\left(x\right)}{q\left(x\right)}$
$D_{KL}\left(p\parallel q\right)={\sum }_x^{}p\left(x\right)\left({\log }_{b}p\left(x\right)-{\log }_{b}q\left(x\right)\right)$
$D_{KL}\left(p\parallel q\right)={\sum }_x^{}p\left(x\right)\left({\log }_{b}p\left(x\right)\right)-{\sum }_x^{}p\left(x\right){\log }_{b}q\left(x\right)$
其中， $-{\sum }_x^{}p\left(x\right){\log }_{b}q\left(x\right)$ 称为 交叉熵。

根据频率学派的观点，p(x)未知但是固定，因此${\sum }_x^{}p\left(x\right){\log }_{b}p\left(x\right)$为常数， 所以要使得相对熵最大化，则需要最小化交叉熵即可。
理想分布

$p(y_i)=\{\begin{array}{r}p\left(1\right)=1,p\left(0\right)=0,y_i=1\\ p\left(1\right)=0,p\left(0\right)=1,y_i=0\end{array}$

模拟分布

$q(y_i)=\{\begin{array}{r}\frac{e^{{\beta }^T\hat{x}}}{1+e^{{\beta }^T\hat{x}}}=p_1\left(\hat{x};\beta \right),y_i=1\\ \frac{1}{1+e^{{\beta }^T\hat{x}}}=p_0\left(\hat{x};\beta \right),y_i=0\end{array}$

则交叉熵为

$-{\sum }_{y_i}^{}p\left(y_i\right){\log }_{b}q\left(y_i\right)$
$-p\left(1\right){\log }_b{p}_1\left(\hat{x};\beta \right)-p\left(0\right){\log }_b{p}_0\left(\hat{x};\beta \right)$
$-y_i{\log }_b{p}_1\left(\hat{x};\beta \right)-\left(1-y_i\right){\log }_b{p}_0\left(\hat{x};\beta \right)$
令 b=e，则有 $$-y_i{\ln }_b{p}_1\left(\hat{x};\beta \right)-\left(1-y_i\right){\ln }_b{p}_0\left(\hat{x};\beta \right)$$

最终化简可得：
$$\sum _{i=1}^m\left(y_i{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i-\ln \left(1+e^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i}\right)\right)$$
总而言之，殊途同归。

梯度下降法：是一种迭代求解算法，利用“梯度指向的方向是函数值增大速度最快的方向”这一特性，每次迭代时都朝着梯度的反方向进行，进而实现函数值越迭代越小。
牛顿法：与梯度下降法一样，只不过还要求$x^{t+1}$必须是$x^t$领域内的极小值点。

感谢Datawhale小组所做的贡献，本次学习主要参考视频：
https://www.bilibili.com/video/BV1Mh411e7VU/?p=5&spm_id_from=333.880.my_history.page.click&vd_source=7f1a93b833d8a7093eb3533580254fe4