逻辑斯蒂回归法二元分类

返回目录

预测值为0或者1的离散序列。
将$\vec{x}$映射成0或者1，使用sigmoid函数进行模拟。

假设函数：
$$h(\vec{x})=\frac{1}{1+e^{-{\vec{\theta }}^T\vec{x}}}$$
其中：
$$\begin{array}{r}\vec{x}=[x_0,x_1,...,x_n{]}^T\in {\mathbb{R}}^{(n+1)\times 1}\\ \vec{\theta }=[{\theta }_0,{\theta }_1,...,{\theta }_n{]}^T\in {\mathbb{R}}^{(n+1)\times 1}\\ （n为特征个数）\end{array}$$
即找到一系列参数$\vec{\theta }$尽可能使得$y=0$时$h(\vec{x})\to 0$，$y=1$时$h(\vec{x})\to 1$。
将$h(\vec{x})$视为$h(\vec{x})=1$的概率，则$h(\vec{x})$预测正确的概率为：
$$p=h(\vec{x}{)}^y(1-h(\vec{x}){)}^{(1-y)}$$
当$y=0$时，$h(\vec{x})$预测正确的概率（即$h(\vec{x})=0$）为$1-h(\vec{x})$。
当$y=1$时，$h(\vec{x})$预测正确的概率（即$h(\vec{x})=1$）为$h(\vec{x})$。
要使预测正确的概率最大，则对所有的测试数据满足：
$$\begin{array}{rl}\underset{\vec{\theta }}{\max }l(\vec{\theta })& =\underset{\vec{\theta }}{\max }(p^{(1)}\cdot p^{(2)}\cdot ...p^{(m)})\\ & =\underset{\vec{\theta }}{\max }\prod _{i=1}^{i=m}h({\vec{x}}^{(i)}{)}^{y^{(i)}}(1-h({\vec{x}}^{(i)}){)}^{(1-y^{(i)})}\end{array}$$
两边取对数有：
$$\begin{array}{rl}\underset{\vec{\theta }}{\max }L(\vec{\theta })& =\underset{\vec{\theta }}{\max }ln(l(\vec{\theta })))\\ & =\underset{\vec{\theta }}{\max }\sum _{i=1}^{i=m}{y}^{(i)}ln(h({\vec{x}}^{(i)}))+(1-y^{(i)})ln((1-h({\vec{x}}^{(i)})))\end{array}$$
所以令代价函数 $J(\vec{\theta })=-\frac{1}{m}L(\vec{\theta })$。转化成求使$J(\vec{\theta })$最小的$\vec{\theta }$。
故代价函数：
$$J(\vec{\theta })=-\frac{1}{m}(\sum _{i=1}^{i=m}{y}^{(i)}ln(h({\vec{x}}^{(i)}))+(1-y^{(i)})ln(1-h({\vec{x}}^{(i)})))$$
其中：
y ⃗ = [ y ( 0 ) , y ( 1 ) , . . . , y ( m ) ] T ∈ R ( m × 1 ) y ( i ) ∈ { 0 , 1 } （ m 为 测 试 样 本 个 数 ） \begin{aligned} \vec{y}=[y^{(0)}, y^{(1)}, ...,y^{(m)}]^T\in\mathbb R^{(m\times1)} \\ y^{(i)}\in\{0, 1\} （m为测试样本个数） \end{aligned} y ​=[y(0),y(1),...,y(m)]T∈R(m×1)y(i)∈{0,1}（m为测试样本个数）​
代价函数还可以做如下解释：
当$y=0$时，$h(\vec{x})=1$的代价趋于无穷，$h(\vec{x})=0$的代价为零。
当$y=1$时，$h(\vec{x})=0$的代价趋于无穷，$h(\vec{x})=1$的代价为零。
梯度下降法：
$$\begin{array}{rl}{\vec{\theta }}_j& :={\vec{\theta }}_j-\alpha \frac{\partial J(\vec{\theta })}{\partial {\theta }_j}\end{array}$$
$$\begin{array}{rl}\frac{\partial J(\vec{\theta })}{\partial {\theta }_j}& =-\frac{1}{m}\sum _{i=1}^{i=m}(y^{(i)}\frac{(h({\vec{x}}^{(i)}){)}^{{}^{\prime }}}{h({\vec{x}}^{(i)})}+(1-y^{(i)})\frac{-(h({\vec{x}}^{(i)}){)}^{{}^{\prime }}}{1-h({\vec{x}}^{(i)})})\\ & =-\frac{1}{m}\sum _{i=1}^{i=m}((\frac{y^{(i)}}{h({\vec{x}}^{(i)})}-\frac{1-y^{(i)}}{1-h({\vec{x}}^{(i)})})(h({\vec{x}}^{(i)}){)}^{{}^{\prime }})\\ & =-\frac{1}{m}\sum _{i=1}^{i=m}((\frac{(1+e^{-{\vec{\theta }}^T{\vec{x}}^{(i)}})(y^{(i)}{e}^{-{\vec{\theta }}^T{\vec{x}}^{(i)}}+y^{(i)}-1)}{e^{-{\vec{\theta }}^T{\vec{x}}^{(i)}}})(\frac{e^{-{\vec{\theta }}^T{\vec{x}}^{(i)}}{x}_j^{(i)}}{(1+e^{-{\vec{\theta }}^T{\vec{x}}^{(i)}}{)}^2}))\\ & =\frac{1}{m}\sum _{i=1}^{i=m}(\frac{x_j^{(i)}-x_j^{(i)}{y}^{(i)}(1+e^{-{\vec{\theta }}^T{\vec{x}}^{(i)}})}{1+e^{-{\vec{\theta }}^T{\vec{x}}^{(i)}}})\\ & =\frac{1}{m}\sum _{i=1}^{i=m}(h({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)}\end{array}$$

返回目录