逻辑回归与线性回归

逻辑回归与线性回归

二者最本质的区别是：逻辑回归解决分类问题，而线性回归解决回归问题。但二者之间又具有联系，可从线性回归转化为逻辑回归。
线性回归表达式为：$$y=w\ast x+b$$
希望通过该模型做二分类任务，即目标为0,1，但并不可以用线性回归表示P(Y|X)=w*X+b
P(Y|X)条件概率需满足:1)0<=P(Y|X)<=1,2)${\sum }_{y}P(Y|X)=1$
而 $-\propto <w\ast x+b<\propto$,$xϵR^d$ ,不满足条件概率
logistic function:
$$y=\frac{1}{1+e^{-x}}=\delta (x)$$
与线性回归联合：
$$p(y|x;w)=\frac{1}{1+e^{-(w^{T}x+b)}}=\delta (w^{T}x+b)$$
对于二分类问题：
$$p(y=1|x;w)=\frac{1}{1+e^{-(w^{T}x+b)}}$$
$$p(y=0|x;w)=1-p(y=1|x;w)=\frac{e^{-(w^{T}x+b)}}{1+e^{-(w^{T}x+b)}}$$
合并为：
$$p(y|x;w)=p(y=1|x;w{)}^y[1-p(y=1|x;w){]}^{1-y}$$
Objective Function:

逻辑回归属于线性分类器
决策边界用于判断是否为线性分类器：
落在边界点的概率相同$\Rightarrow$$\frac{p(y=1|x,w)}{p(y=0|x,w)}=1$
$\Rightarrow$$loge-(w^T+b)=log0$
$\Rightarrow$$-(w^T+b)=0$
$\Rightarrow$$w^T+b=0$