核心介绍:
采用logistic回归解决分类问题,大致可以分为两个步骤:
1.分类,采用逻辑回归公式实现分类
2.评估分类效果并调整w,b值
一、logistic 回归公式,解决二分类问题
y
^
=
δ
(
w
T
x
+
b
)
,
δ
(
Z
)
=
1
1
+
e
−
z
,
Z
=
w
T
x
+
b
\hat{y} = \delta (w^{T}x+b),\delta(Z)=\frac{1}{1+e^{-z}} ,Z = w^{T}x+b
y^=δ(wTx+b),δ(Z)=1+e−z1,Z=wTx+b二、衡量分类效果的标准
可以采用成本函数,值得注意的是损失函数是衡量单一样本的,成本函数是整个样本集。
J
(
w
,
b
)
=
1
m
∑
i
=
1
m
L
(
y
^
(
i
)
,
y
(
i
)
)
=
−
1
m
[
∑
i
=
1
m
y
(
i
)
log
y
^
(
i
)
+
(
1
−
y
(
i
)
)
log
(
1
−
y
^
(
i
)
)
]
J(w,b) = \frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)}) = -\frac{1}{m}[\sum_{i=1}^{m}{y}^{(i)}\log\hat{y}^{(i)}+(1-{y}^{(i)})\log(1-\hat{y}^{(i)})]
J(w,b)=m1i=1∑mL(y^(i),y(i))=−m1[i=1∑my(i)logy^(i)+(1−y(i))log(1−y^(i))]
注
:
其
中
L
(
y
^
(
i
)
,
y
(
i
)
)
=
−
[
y
(
i
)
log
y
^
(
i
)
+
(
1
−
y
(
i
)
)
log
(
1
−
y
^
(
i
)
)
]
是
损
失
函
数
注:其中L(\hat{y}^{(i)},y^{(i)}) = -[{y}^{(i)}\log\hat{y}^{(i)}+(1-{y}^{(i)})\log(1-\hat{y}^{(i)})] 是损失函数
注:其中L(y^(i),y(i))=−[y(i)logy^(i)+(1−y(i))log(1−y^(i))]是损失函数
同时,为使损失函数值最小,可以使用梯度下降算法,不断更新w,b的值,其中,涉及内容有学习率,求导(变化率)
- 逻辑回归用于二分类,主要公式如下:
l o g i s t i c 回 归 公 式 : Z = W T X + b = n p . d o t ( W T , X ) + b logistic回归公式:Z = W^{T}X+b = np.dot(W^{T},X)+b logistic回归公式:Z=WTX+b=np.dot(WT,X)+b 非 线 性 化 , 使 结 果 在 ( 0 , 1 ) 之 间 : A = δ ( Z ) 非线性化,使结果在(0,1)之间:A = \delta(Z) 非线性化,使结果在(0,1)之间:A=δ(Z) - 反向传播,更新w、b:
经
过
证
明
,
对
Z
的
求
导
是
:
d
Z
=
A
−
Y
经过证明,对Z的求导是: dZ = A - Y
经过证明,对Z的求导是:dZ=A−Y
对
w
的
求
导
是
:
d
w
=
1
m
X
∗
d
Z
对w的求导是:dw = \frac{1}{m} X*dZ
对w的求导是:dw=m1X∗dZ
对
b
的
求
导
是
:
d
b
=
1
m
n
p
.
s
u
m
(
d
Z
)
这
里
的
n
p
是
n
u
m
p
y
的
简
写
对b的求导是:db = \frac{1}{m} np.sum(dZ) 这里的np是numpy的简写
对b的求导是:db=m1np.sum(dZ)这里的np是numpy的简写
=
>
w
:
=
w
−
α
d
w
=> w := w - \alpha dw
=>w:=w−αdw 和
b
:
=
b
−
α
d
b
b := b - \alpha db
b:=b−αdb
符合解释: A表示预测结果的概率,Y表示真实估计值, α \alpha α是学习率(用来控制变化的速率)