对机器学习逻辑斯蒂回归的介绍及模型评估方法
机器学习及相关模型简介
机器学习是一门多领域交叉的学科,是人工智能的基础。利用大量的数据进行分析与挖掘,机器学习的模型作为一种从数据当中发现复杂规律,并且利用规律对未来时刻、未知状况进行预测和判定的方法,将可应用在人类各领域内推动着大数据科技的发展。下图为目前主流的基础机器学习模型。
逻辑斯蒂回归
模型介绍
逻辑斯谛回归(LR)是经典的分类方法
1.逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。
P ( Y = k ∣ x ) = exp ( w k ⋅ x ) 1 + ∑ k = 1 K − 1 exp ( w k ⋅ x ) , k = 1 , 2 , ⋯ , K − 1 P(Y=k | x)=\frac{\exp \left(w_{k} \cdot x\right)}{1+\sum_{k=1}^{K-1} \exp \left(w_{k} \cdot x\right)}, \quad k=1,2, \cdots, K-1 P(Y=k∣x)=1+∑k=1K−1exp(wk⋅x)exp(wk⋅x),k=1,2,⋯,K−1
P
(
Y
=
K
∣
x
)
=
1
1
+
∑
k
=
1
K
−
1
exp
(
w
k
⋅
x
)
P(Y=K | x)=\frac{1}{1+\sum_{k=1}^{K-1} \exp \left(w_{k} \cdot x\right)}
P(Y=K∣x)=1+∑k=1K−1exp(wk⋅x)1
这里,
x
x
x为输入特征,
w
w
w为特征的权值。
其中,逻辑斯蒂回归利用sigmod(对数几率函数)的激活函数将标签值压缩至0与1之间:
逻辑斯谛回归模型源自逻辑斯谛分布,其分布函数 F ( x ) F(x) F(x)是 S S S形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。
2.逻辑斯谛回归模型属于对数线性模型。
3.逻辑斯谛回归模型一般采用极大似然估计,或正则化的极大似然估计。逻辑斯谛回归模型可以化为无约束最优化问题。求解该最优化问题的算法有改进的迭代尺度法、梯度下降法、拟牛顿法。
算法步骤
Logistic回归模型学习的梯度下降算法:
步骤1 取初始值
x
(
0
)
∈
R
x^{(0)} \in R
x(0)∈R,置
k
=
0
k=0
k=0
步骤2 计算
f
(
x
(
k
)
)
f(x^{(k)})
f(x(k))
步骤3 计算梯度
g
k
=
g
(
x
(
k
)
)
g_k=g(x^{(k)})
gk=g(x(k)),当
∥
g
k
∥
<
ε
\|g_k\| < \varepsilon
∥gk∥<ε时,停止迭代,令
x
∗
=
x
(
k
)
x^* = x^{(k)}
x∗=x(k);否则,求
λ
k
\lambda_k
λk,使得
f
(
x
(
k
)
+
λ
k
g
k
)
=
max
λ
⩾
0
f
(
x
(
k
)
+
λ
g
k
)
\displaystyle f(x^{(k)}+\lambda_k g_k) = \max_{\lambda \geqslant 0}f(x^{(k)}+\lambda g_k)
f(x(k)+λkgk)=λ⩾0maxf(x(k)+λgk)
步骤4 置
x
(
k
+
1
)
=
x
(
k
)
+
λ
k
g
k
x^{(k+1)}=x^{(k)}+\lambda_k g_k
x(k+1)=x(k)+λkgk,计算
f
(
x
(
k
+
1
)
)
f(x^{(k+1)})
f(x(k+1)),当
∥
f
(
x
(
k
+
1
)
)
−
f
(
x
(
k
)
)
∥
<
ε
\|f(x^{(k+1)}) - f(x^{(k)})\| < \varepsilon
∥f(x(k+1))−f(x(k))∥<ε或
∥
x
(
k
+
1
)
−
x
(
k
)
∥
<
ε
\|x^{(k+1)} - x^{(k)}\| < \varepsilon
∥x(k+1)−x(k)∥<ε时,停止迭代,令
x
∗
=
x
(
k
+
1
)
x^* = x^{(k+1)}
x∗=x(k+1)
步骤5 否则,置
k
=
k
+
1
k=k+1
k=k+1,转(3)
模型评估
众所周知,如今有数十种机器学习算法,而各个算法中均有不同的参数可以进行使用,那么,如何判断模型的性能从而选择成本低且高效的算法模型呢?有以下几种方式:
-
模型准确率
准确率是指分类或预测正确的样本占总样本个数的比例,这最简单也是最直接评估模型的方法。而误差期望指的是模型预测输出结果与样本的真实输出结果的差异。此外,ROC曲线、均方误差、F1score也是评估模型准确率的计算方法。 -
内存占用及运行速度
不同模型使用不同参数对模型数据进行拟合的时候,均需要占用电脑的内存并发挥其GPU、CPU、TPU等软硬件的的资源与作用。选择一个适合硬件发挥、兼容性高、运行速度快的模型能够最高效率且低成本的让机器正常运行。