一、假设函数 (Hypothesis)
就是在多元线性回归的基础上再加一个sigmod函数。
y
θ
(
x
)
=
θ
0
+
θ
1
x
1
+
θ
2
x
2
.
.
.
.
+
θ
i
x
i
y_\theta(x) = \theta_0 +\theta_1x_1+\theta_2x_2....+\theta_ix_i
yθ(x)=θ0+θ1x1+θ2x2....+θixi
z
θ
(
x
)
=
1
1
+
e
−
x
z_\theta(x) = \frac{1}{1+e^{-x}}
zθ(x)=1+e−x1
综合以上两个公式：
h
θ
(
x
)
=
1
1
+
e
−
θ
x
h_\theta(x) = \frac{1}{1+e^{-\theta x}}
hθ(x)=1+e−θx1
- 注意：如果把最后的激活函数替换成阶跃函数，逻辑回归就变成了感知器
二、损失函数
1.交叉熵损失函数
逻辑回归的损失函数不能采用平方差损失函数，因为逻辑回归的损失函数不是凸函数。
逻辑回归的损失函数采用交叉熵作为损失函数。
L
θ
(
x
)
=
−
1
m
∑
i
=
1
m
(
y
i
l
o
g
h
θ
(
x
i
)
+
(
1
−
y
)
i
l
o
g
(
1
−
h
θ
(
x
i
)
)
)
L_\theta(x) =- \frac{1}{m}\sum_{i=1}^{m}(y^{i}logh_\theta(x^i)+(1-y)^{i}log(1-h_\theta(x^i)))
Lθ(x)=−m1∑i=1m(yiloghθ(xi)+(1−y)ilog(1−hθ(xi)))
2.交叉熵损失函数的推导
∂
h
θ
(
x
)
∂
θ
=
1
m
∑
i
=
1
m
(
h
θ
(
x
i
)
−
y
i
)
x
i
\frac{\partial h_\theta(x)}{\partial_\theta}=\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y^i)x^i
∂θ∂hθ(x)=m1∑i=1m(hθ(xi)−yi)xi
所有逻辑回归的交叉熵损失函数的偏导数和多元线性回归的平方差损失的偏导数是一样的
扫一扫
1921
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
