逻辑回归(Logistic Regression)是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。
逻辑回归模型
P
(
y
=
1
∣
x
)
=
h
θ
(
x
)
=
1
1
+
e
−
θ
T
x
P(y=1|x)=h_\theta(x)={\frac {1}{1+e^{-\theta^Tx}}}
P(y=1∣x)=hθ(x)=1+e−θTx1代价函数
C
o
s
t
(
h
θ
(
x
(
i
)
)
,
y
(
i
)
)
=
{
−
log
(
h
θ
(
x
(
i
)
)
if
y
(
i
)
=
1
−
log
(
1
−
h
θ
(
x
(
i
)
)
if
y
(
i
)
=
0
Cost(h_{\theta}(x^{(i)}),y^{(i)})=\begin{cases} -\log(h_{\theta}(x^{(i)})& \text{if $y^{(i)}=1$} \\ -\log(1-h_{\theta}(x^{(i)})& \text{if $y^{(i)}=0$} \end{cases}
Cost(hθ(x(i)),y(i))={−log(hθ(x(i))−log(1−hθ(x(i))if y(i)=1if y(i)=0
J
(
θ
)
=
1
m
∑
i
=
1
m
C
o
s
t
(
h
θ
(
x
(
i
)
)
,
y
(
i
)
)
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
log
h
θ
(
x
(
i
)
)
+
(
1
−
y
(
i
)
)
log
(
1
−
h
θ
(
x
(
i
)
)
)
]
J(\theta)={\frac {1} {m}}\sum_{i=1}^m Cost(h_{\theta}(x^{(i)}),y^{(i)}) =-{\frac {1} {m}}\sum_{i=1}^m[y^{(i)}\log h_{\theta}(x^{(i))}+(1-y^{(i)})\log (1-h_{\theta}(x^{(i)}))]
J(θ)=m1i=1∑mCost(hθ(x(i)),y(i))=−m1i=1∑m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]求解方法
- 梯度下降法(Gradient Descent)
通过迭代
θ j = θ j − α ∂ ∂ θ j J ( θ ) \theta_j=\theta_j-\alpha{\frac {\partial}{\partial\theta_j}}J(\theta) θj=θj−α∂θj∂J(θ)确定参数 θ 0 , θ 1 , . . . , θ n \theta_0,\theta_1,...,\theta_n θ0,θ1,...,θn - 共轭梯度法(Conjugate Gradient)
- BFGS法
- L-BFGS法
对于多分类问题(Multi-class Classification)，可以化为若干个二分类(Binary Classification)问题。
扫一扫
23万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
