对数几率回归

机器学习中常见的任务就是回归和分类，线性回归得到一个连续的取值，而分类需要一个离散的取值，常见的二分类就是用1表示正分类，0表示负分类。因此，就想把得到的连续的值映射到离散的0和1上。
最理想的就是“单位阶跃函数”
$$y=\{\begin{array}{cl}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}$$
然而，“单位阶跃函数”不是连续的，线性模型得到的是连续的，然后就找到了代替函数：
$$y=\frac{1}{1+e^{-z}}$$
称为Sigmoid函数

极大似然估计计算w

离散型随机变量 y ∈ { 0 , 1 } y \in\{0,1\} y∈{0,1}的取值为1和0的概率分别为：
$$p(y=1\mid \mathbf{x})=\frac{1}{1+e^{-\left({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right)}}=\frac{e^{{\mathbf{w}}^{\mathrm{T}}x+b}}{1+e^{{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b}}$$
$$p(y=0\mid \mathbf{x})=1-p(y=1\mid \mathbf{x})=\frac{1}{1+e^{{\mathbf{T}}^{\mathrm{T}}\mathbf{x}+b}}$$
为了便于讨论，类似多元线性回归，
$$\begin{array}{rl}& \text{ 令 }\mathbf{\beta }=(\mathbf{w};b),\hat{\mathbf{x}}=(\mathbf{x};1),\text{ 则上式可简写为 }\\ & \begin{array}{rl}& p(y=1\mid \hat{\mathbf{x}};\mathbf{\beta })=\frac{e^{{\mathbf{\beta }}^{\mathrm{T}}\hat{\mathbf{x}}}}{1+e^{{\mathbf{\beta }}^{\mathrm{T}}\hat{\mathbf{x}}}}=p_1(\hat{\mathbf{x}};\mathbf{\beta })\\ & p(y=0\mid \hat{\mathbf{x}};\mathbf{\beta })=\frac{1}{1+e^{{\beta }^{\mathrm{T}}\hat{\mathbf{x}}}}=p_0(\hat{\mathbf{x}};\mathbf{\beta })\end{array}\end{array}$$

可得随机变量 y ∈ { 0 , 1 } y \in\{0,1\} y∈{0,1}的概率质量函数为：
$$p(y\mid \hat{\mathbf{x}};\mathbf{\beta })=y\cdot p_1(\hat{\mathbf{x}};\mathbf{\beta })+(1-y)\cdot p_0(\hat{\mathbf{x}};\mathbf{\beta })$$
似然函数为：$$L(\mathbf{\beta })=\prod _{i=1}^{m}p\left(y_i\mid {\hat{\mathbf{x}}}_i;\mathbf{\beta }\right)$$
取对数：

综合y=0和y=1得：

由于损失函数通常是以最小化为优化目标，所以，将该式最小化加个-号即可，即求：

的最小值。

（信息论的推导不太会，线不做笔记了）

对数几率回归的三要素

• 模型：线性模型，输出值的范围为$[0,1]$，近似阶跃的单调可微函数
• 策略：极大似然估计和信息论
• 算法：梯度下降，牛顿法。