逻辑回归
1.英文名称: LogisticRegression
2.逻辑函数 ("sigmoid","logistic"function)
hθ(x)=g(θTx)=11+exp(−θ⊤x)≡σ(θ⊤x)
where:
g(z)=11+exp(−z)
逻辑函数为一个二分类函数,函数图形如下:
逻辑函数
设定:
P(y=1|x)P(y=0|x)=hθ(x)=11+exp(−θ⊤x)≡σ(θ⊤x),=1−P(y=1|x)=1−hθ(x).
可以将上面的两个式子写成一个,如下:
p(y|x;θ)=(hθ(x))y(1−hθ(x))(1−y)
为了通过样本的训练得到未知参数 θ ,通过最大似然估计的方法,设样本数为m则有,如下似然函数:
L(θ)=∏i=1mp(y(i)|x(i);θ)=∏i−1m(hθ(x))y(i)(1−hθ(x))1−y(i)
利用最大似然函数计算方法,对似然函数取对数得到:
l(θ)=log(L(θ))=∑i=1m(y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))))
最大化(Maximize)
l(θ)
,利用
l(θ)
对
θj
求导得到:
∇θjl(θ)=∂l(θ)∂θj=y(i)hθ(x(i))∇θjhθ(x(i))−1−y(i)1−hθ(x(i))∇θjhθ(x(i))=(y(i)hθ(x(i))−1−y(i)1−hθ(x(i)))∇θjhθ(x(i))=(y(i)g(θTx)−1−y(i)1−g(θTx))∇θjg(θTx)=(y(i)g(θTx)−1−y(i)1−g(θTx))g(θTx)(1−g(θTx))xj=(y−hθ(x))xj
上面的推导中有:
∂g(z)∂z=g(z)(1−g(z)).
最后利用随机梯度上升方法:
θj:=θj+α(y−hθ(x))xj.
Q1:为什么这里可以用梯度法可以取得最优解?
A1:
Q2:为什么是用梯度上升而不是梯度下降法?
A2: