matlab 对数回归,[线性模型] 对数几率回归（Logistic Regression）

公式推导

对数几率回归用于处理二分类问题，其数学基础为对数几率函数，是一种 Sigmoid 函数

\[y = \frac{1}{1+e^{-z}} \tag 1

\]

其函数图像如下

取 $z = \boldsymbol{w}^T\boldsymbol{x}+b$，并对式 $(1)$ 进行一定变换，得

$$

\ln\frac{y}{1-y}= \boldsymbol{w}^T\boldsymbol{x}+b \tag 2\$$

可以理解为，使用线性回归的预测结果逼近真实标记的对数几率. 当 $y>0.5$ 时，左式大于 $0$；当 $y<0.5$ 时，左式小于$0$.

按照线性回归模型的求解过程，推导出求解 \(\boldsymbol w\) 和 \(b\) 的迭代公式. 将式 \((2)\) 中的 \(y\) 看作类后验概率估计\(p(y=1|\boldsymbol x)\), 代入式 \((2)\) 可以推出

\[\begin{align}

p(y=1|\boldsymbol x) = \frac{e^{\boldsymbol w^T\boldsymbol x+b}}{1+e^{\boldsymbol w^T \boldsymbol x+b}} \tag 3\p(y=0|\boldsymbol x) = \frac{1}{1+e^{\boldsymbol w^T