【DataWhale机器学习吃瓜教程】 第三章（二）对数几率回归部分

系列文章目录

【DataWhale机器学习吃瓜教程】 第一章 绪论
【DataWhale机器学习吃瓜教程】 第二章 模型评估与选择
【DataWhale机器学习吃瓜教程】 第三章（一）线性回归部分

---

---

概述

---

一、算法原理

在线性模型的基础上套一个映射函数实现分类功能
即从x->f(x)->P（概率）的映射，往往是映射到0~1之间

二、损失函数的极大似然估计推导

第一步：确定概率质量（密度）函数
已知离散性随机变量 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}取值未1和0的概率分别建模为
$p(y=1|x)=\frac{1}{1+e^{-(w^{T}x+b)}}=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$
$p(y=0|x)=1-p(y=1|x)=\frac{1}{1+e^{w^{T}x+b}}$

为便于讨论，令$\beta =(w;b),\hat{x}=(x;1)$,则上式可简写为
$p(y=1|\hat{x};\beta )=\frac{e^{{\beta }^T\hat{x}}}{1+e^{{\beta }^T\hat{x}}}=p_1(\hat{x};\beta )$
$p(y=0|\hat{x};\beta )=\frac{1}{1+e^{{\beta }^T\hat{x}}}=p_0(\hat{x};\beta )$

由以上可推得随机变量 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}的概率质量函数为
$p(y|\hat{x};\beta )=y\cdot p_1(\hat{x};\beta )+(1-y)\cdot p_0(\hat{x};\beta )$

第二步：写出似然函数
$L(\beta )=\prod _{i=1}^{m}p(y_i|{\hat{x}}_i;\beta )$
对数似然函数为
$l(\beta )=\ln L(\beta )=\prod _{i=1}^m\ln p(y_i|{\hat{x}}_i;\beta )$
$l(\beta )=\sum _{i=1}^m\ln (y_i{p}_1({\hat{x}}_i;\beta )+(1-y_i)p_0({\hat{x}}_i;\beta ))$

将第一步带入，得
$l(\beta )=\sum _{i=1}^m(\ln (y_i{e}^{{\beta }^T{\hat{x}}_i}+1-y_i)-\ln (1+e^{{\beta }^T{\hat{x}}_i}))$
将y=0,y=1综合可得
$l(\beta )=\sum _{i=1}^m(y_i{\beta }^T{\hat{x}}_i-\ln (1+e^{{\beta }^T{\hat{x}}_i}))$
取反即为公式3.27

三、从信息论角度推导

自信息：$I(X)=-{\log }_{b}p(x)$
信息熵：自信息得期望，度量随机变量X的不确定性，信息熵越大越不确定、
$H(X)=E[I(X)]=-\sum p(x){\log }_{b}p(x)$
相对熵（KL散度）：度量两个分布之间的差距
$$\begin{array}{c}\begin{array}{rl}{D}_{KL}(p||q)& =\sum _{x}p(x){\log }_b\left(\frac{p(x)}{q(x)}\right)\\ & =\sum _{x}p(x)({\log }_{b}p(x)-\log q(x))\\ & =\sum _{x}p(x){\log }_{b}p(x)-\sum _{x}p(x)\log q(x)\end{array}\end{array}$$
其中$-{\sum }_{x}p(x)\log q(x)$为交叉熵
前半部分是信息熵，作为理想分布，其值是固定的，所以最小化相对熵可以转化为最小化交叉熵

感谢谢文睿大佬的视频课和南瓜书，对数几率回归的视频链接在这里!
https://www.bilibili.com/video/BV1Mh411e7VU?p=5&vd_source=1c7ec538e0273994262b530486f66a18