逻辑回归

最新推荐文章于 2019-01-15 22:05:16 发布

weiwei19890308

最新推荐文章于 2019-01-15 22:05:16 发布

阅读量155

点赞数

分类专栏：数据分析笔记

本文链接：https://blog.csdn.net/weiwei19890308/article/details/82811382

版权

数据分析笔记专栏收录该内容

6 篇文章 0 订阅

订阅专栏

线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。表现形式：
$f(x) = w^Tx + b$
一般给定一个 $x$ ，可以预测一个数值 $y$ 。
为了消除常数项 $b$ ，我们设 $x^, = [1,x]^T$ ，同时 $w^, = [b,w]^T$ ，方程简化为
$f(x^,) = w^{, T} x^,$

逻辑回归

上述线性回归的方法的值域为 ${\infty})$ ，而我们想要的只是 $(0, 1)$ ，所以sigmod函数 $\frac{1}{1+e^{-x}}$ ，其图形如下：
在这里插入图片描述

逻辑回归损失函数

定义
$P_{y=1} =\frac{1}{1+e^{-w^Tx}} = p$
$P_{y=0} =1-p$
$p(y_i|x_i)= p^{y_i}(1-p)^{1-y^i}$
所以：样本 $x_1,y_1),(x_2,y_2)...(x_n,y_n)$ 的对数似然函数
$ln(\prod_{i=1}^n p^{y_i}(1-p)^{1-y_i}) = \sum_{i=1}^n y_i ln(p) + (1-y_i)ln(1-p)$
其中 $p=\frac{1}{1+e^{-w^Tx}}$
next: 求 $\triangledown_{w}F$
首先记住以下几个矩阵求导公式，具体见矩阵求导
$\frac{\partial (AX)} {\partial X} = A^T$
$\frac {\partial (X^T A)} {\partial X} = A$

所以
$\frac{\partial w^Tx} {\partial w} = x$
下面对p求导( $p^{'}=\frac {\partial p}{\partial w}$ )
$p^{'} = (\frac{1}{1+e^{-w^Tx}})^{'} \\ = \frac {(1+e^{-w^Tx})^{'}}{{(1+e^{-w^Tx}})^2} \\ = \frac {(e^{-w^Tx}) (-w^Tx)^{'}}{{(1+e^{-w^Tx}})^2} \\ = \frac {(e^{-w^Tx}) (-x)}{{(1+e^{-w^Tx}})^2} \\ = p(1-p)x$
最后求得： $\triangledown_{w}F = \sum_{i=1}^n (y_i ln(p) + (1-y_i)ln(1-p))^{'} \\ =\sum_{i=1}^n y_i ln^{'}(p) + (1-y_i)ln^{'}(1-p) \\ = \sum_{i=1}^ny_i \frac{p^{'}}{p} + (1-y_i)\frac{-p^{'}}{1-p} \\ =\sum_{i=1}^ny_i \frac{ p(1-p)x}{p} + (1-y_i)\frac{- p(1-p)x}{1-p} \\ = \sum_i^n (y_i -p)x_i$