1.Logistic Regression应用领域
逻辑回归(Logistic Regression)是一种用于二分类问题的统计学习方法。
2.Logistic Regression表达式
令 sigma函数
σ
(
x
)
=
1
1
+
e
−
x
\sigma(x)=\frac{1}{1+e^{-\textbf{x}}}
σ(x)=1+e−x1,
Logistic Regression表达式为
y
^
=
σ
(
w
T
x
+
b
)
=
1
1
+
e
−
(
w
T
x
+
b
)
\hat{y}=\sigma(\textbf{w}^{T}\textbf{x}+b)=\frac{1}{1+e^{-(\textbf{w}^{T}\textbf{x}+b)}}
y^=σ(wTx+b)=1+e−(wTx+b)1,其中
y
^
\hat{y}
y^ 是样本为
1
1
1(正样本) 的概率.
3.Sigmoid函数导数和梯度
sigma函数的梯度, σ ( x ) ′ = σ ( x ) ( 1 − σ ( x ) ) \sigma(\textbf{x})'=\sigma(\textbf{x})(1-\sigma(\textbf{x})) σ(x)′=σ(x)(1−σ(x)).