logistic回归

logistic回归

1）定义
分类：$y\in\left \{ 0,1 \right \}$
线性回归算法应用于分类问题，有的时候效果还好，有的时候效果并不好。
$h_{\theta}(x)\in[0,1]$

$h_{\theta}(x)=\frac{1}{1+e^{-\theta^{T}x}}$

2）说明
$p(y=1|x;\theta)=h_\theta(x)$
$p(y=0|x;\theta)=1-h_\theta(x)$
总结：$p(y|x;\theta)=h_\theta(x)^{y}(1-h_\theta(x))^{1-y}$
3）参数拟合
$L(\theta)=p(\vec{y}|X;\theta)$

注：独立性

$=\prod_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta)$

$=\prod_{i=1}^{m}h_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}$

$l(\theta)=logL(\theta)$

$=\sum_{i=1}^{m}[y^{(i)}log\: h_{\theta}(x^{(i)})+(1-y^{(i)})log(1-h_{\theta}(x^{(i)}))]$

使$l(\theta)$最大，可以使用梯度上升法

$\theta:=\theta+\alpha\triangledown_{\theta}l(\theta)$

$\frac{\partial}{\partial\theta_j}l(\theta)=\sum_{i=1}^{m}(y^{(i)}-h_{\theta}(x^{(i)}))x_{j}^{(i)}$（此处需要推导）

$\theta_{j}:=\theta_{j}+\alpha\sum_{i=1}^{m}(y^{(i)}-h_{\theta}(x^{(i)}))x_{j}^{(i)}$

---

以上是书中结论，推导结果：符号有所简化，令m=1
$h=\frac{1}{1+e^{-(a+b*x1+c*x2)}}$

$l=[y*log h+(1-y)log(1-h)]$

$\frac{\partial}{\partial b}l=(y-h)x1$

用matlab求偏导
1.syms h a b c x1 x2 y l
2.h=(1+exp(-(a+b*x1+c*x2)))^-1

h =

1/(exp(- a - b*x1 - c*x2) + 1)

3.l = y*log(h) + (1 - y)*log(1 - h)

l =

y*log(1/(exp(- a - b*x1 - c*x2) + 1)) - log(1 - 1/(exp(- a - b*x1 - c*x2) + 1))*(y - 1)

4.diff(l,b)

ans =

(x1*y*exp(- a - b*x1 - c*x2))/(exp(- a - b*x1 - c*x2) + 1) - (x1*exp(- a - b*x1 - c*x2)(y - 1))/((1/(exp(- a - b*x1 - c*x2) + 1) - 1)(exp(- a - b*x1 - c*x2) + 1)^2)

手工化简之后是$x1(y-h)$