《机器学习:公式推导与代码实践》鲁伟著读书笔记。上一章介绍了线性回归的数学推导过程以及python实现,可以知道线性回归模型就是对数据进行线性拟合或者说是回归,然后采用训练好的模型对未来数据进行预测。那能否运用线性模型对一些数据进行分类呢,这就需要运用对数几率回归模型(logistics regression,LR)这种线性分类模型。
对数几率回归的数学原理
在对数几率回归中,我们需要将线性回归模型的预测值转化为0/1值,而不是去逼近真实标签
y
y
y。而取值范围为(0,1),单调可微的Sigmoid函数便是对数几率回归的不二之选。Sigmoid函数的表达式为:
y
=
1
1
+
e
−
z
y=\frac{1}{1+e^{-z}}
y=1+e−z1。特别的是,Sigmoid函数的导数是可以由其自身来表达的:
f
′
(
x
)
=
f
(
x
)
(
1
−
f
(
x
)
)
f^{\prime}(x)=f(x)(1-f(x))
f′(x)=f(x)(1−f(x))。
我们知道了对数几率回归模型的重要函数了,下一步便将线性回归模型带入Sigmoid函数中,进行基本数学理论的推导。大致分为以下几步:
- 定义线性回归模型
我们采用上一节所讲的线性回归模型,令线性回归模型的公式为: y = X ω + b y=X\omega+b y=Xω+b。 - 通过Sigmoid激活函数
y = 1 1 + e − ( X ω + b ) y=\frac{1}{1+e^{-(X\omega+b)}} y=1+e−(Xω+b)1 - 化简后两边同时取对数 y + y e − ( X ω + b ) = 1 y+ye^{-(X\omega+b)}=1 y+ye−(Xω+b)=1 1 − y y = e − ( X ω + b ) \frac{1-y}{y} =e^{-(X\omega+b)} y1−y=e−(Xω+b) l n 1 − y y = − ( X ω + b ) ln\frac{1-y}{y}=-(X\omega+b) lny1−y=−(Xω+b) l n y 1 − y = X ω + b ln\frac{y}{1-y}=X\omega+b ln1−yy=Xω+b上式便为对数几率回归的模型公式,可以将 y y y视作样本 X X X作为正例的概率,将 1 − y 1-y 1−y视作样本 X X X作为反例的概率。所以 y 1 − y \frac{y}{1-y} 1−yy可以称之为“几率”,对几率求对数得到对数几率。
- 确定
ω
\omega
ω和
b
b
b的梯度
将 y y y视为后验概率(先验分布:根据一般的经验认为随机变量应该满足的分布;后验分布:通过当前训练数据修正的随机变量的分布,比先验分布更符合当前数据)估计 p ( y = 1 ∣ x ) p(y=1|x) p(y=1∣x),则对数几率回归模型的公式可化简为:
l n p ( y = 1 ∣ x ) p ( y = 0 ∣ x ) = X ω + b ln\frac{p(y=1|x)}{p(y=0|x)}=X\omega+b lnp(y=0∣x)p(y=1∣x)=Xω+b - 展开上式可得
p ( y = 1 ∣ x ) = 1 1 + e − ( X ω + b ) = y ^ p(y=1|x)=\frac{1}{1+e^{-(X\omega+b)}}=\hat {y} p(y=1∣x)=1+e−(Xω+b)1=y^ p ( y = 0 ∣ x ) = e − ( X ω + b ) 1 + e − ( X ω + b ) = 1 − y ^ p(y=0|x)=\frac{e^{-(X\omega+b)}}{1+e^{-(X\omega+b)}}=1-\hat {y} p(y=0∣x)=1+e−(Xω+b)e−(Xω+b)=1−y^综合得: p ( y ∣ x ) = y ^ y + ( 1 − y ^ ) 1 − y p(y|x)=\hat {y}^{y}+(1-\hat {y})^{1-y} p(y∣x)=y^y+(1−y^)1−y两边取对数得: l n p ( y ∣ x ) = y l n y ^ + ( 1 − y ) l n ( 1 − y ^ ) lnp(y|x)=yln\hat {y}+(1-y)ln(1-\hat {y}) lnp(y∣x)=ylny^+(1−y)ln(1−y^)这就是最经典的交叉熵损失函数。 - 令
L
=
l
n
p
(
y
∣
x
)
L=lnp(y|x)
L=lnp(y∣x)并对
ω
\omega
ω和
b
b
b求偏导
L = y l n ( 1 1 + e − ( X ω + b ) ) + ( 1 − y ) l n ( e − ( X ω + b ) 1 + e − ( X ω + b ) ) L=yln(\frac{1}{1+e^{-(X\omega+b)}})+(1-y)ln(\frac{e^{-(X\omega+b)}}{1+e^{-(X\omega+b)}}) L=yln(1+e−(Xω+b)1)+(1−y)ln(1+e−(Xω+b)e−(Xω+b)) L = y ( − l n ( 1 + e − ( X ω + b ) ) ) + ( 1 − y ) [ − ( X ω + b ) − l n ( 1 + e − ( X ω + b ) ) ] L=y(-ln(1+e^{-(X\omega+b)}))+(1-y)[-(X\omega+b)-ln(1+e^{-(X\omega+b)})] L=y(−ln(1+e−(Xω+b)))+(1−y)[−(Xω+b)−ln(1+e−(Xω+b))] L = − y l n ( 1 + e − ( X ω + b ) ) − ( X ω + b ) − l n ( 1 + e − ( X ω + b ) ) + y ( X ω + b ) + y l n ( 1 + e − ( X ω + b ) ) L=-yln(1+e^{-(X\omega+b)})-(X\omega+b)-ln(1+e^{-(X\omega+b)})+y(X\omega+b)+yln(1+e^{-(X\omega+b)}) L=−yln(1+e−(Xω+b))−(Xω+b)−ln(1+e−(Xω+b))+y(Xω+b)+yln(1+e−(Xω+b)) L = − ( X ω + b ) − l n ( 1 + e − ( X ω + b ) ) + y ( X ω + b ) L=-(X\omega+b)-ln(1+e^{-(X\omega+b)})+y(X\omega+b) L=−(Xω+b)−ln(1+e−(Xω+b))+y(Xω+b) ∂ L ∂ ω = ∂ − ( X ω + b ) ∂ ω + ∂ − l n ( 1 + e − ( X ω + b ) ) ∂ ω + ∂ y ( X ω + b ) ∂ ω \frac{\partial L}{\partial {\omega}}=\frac{\partial -(X\omega+b)}{\partial {\omega}}+\frac{\partial -ln(1+e^{-(X\omega+b)})}{\partial {\omega}}+\frac{\partial y(X\omega+b)}{\partial {\omega}} ∂ω∂L=∂ω∂−(Xω+b)+∂ω∂−ln(1+e−(Xω+b))+∂ω∂y(Xω+b) ∂ L ∂ ω = − X T + X T 1 1 + e − ( X ω + b ) e − ( X ω + b ) + X T y \frac{\partial L}{\partial {\omega}}=-X^{T}+X^{T}\frac{1}{1+e^{-(X\omega+b)}}e^{-(X\omega+b)}+X^{T}y ∂ω∂L=−XT+XT1+e−(Xω+b)1e−(Xω+b)+XTy ∂ L ∂ ω = − X T + X T ( 1 − y ^ ) + X T y \frac{\partial L}{\partial {\omega}}=-X^{T}+X^{T}(1-\hat {y})+X^{T}y ∂ω∂L=−XT+XT(1−y^)+XTy ∂ L ∂ ω = X T ( y − y ^ ) \frac{\partial L}{\partial {\omega}}=X^{T}(y-\hat {y}) ∂ω∂L=XT(y−y^) ∂ L ∂ b = ∂ − ( X ω + b ) ∂ b + ∂ − l n ( 1 + e − ( X ω + b ) ) ∂ b + ∂ y ( X ω + b ) ∂ b \frac{\partial L}{\partial {b}}=\frac{\partial -(X\omega+b)}{\partial {b}}+\frac{\partial -ln(1+e^{-(X\omega+b)})}{\partial {b}}+\frac{\partial y(X\omega+b)}{\partial {b}} ∂b∂L=∂b∂−(Xω+b)+∂b∂−ln(1+e−(Xω+b))+∂b∂y(Xω+b) ∂ L ∂ b = − 1 + 1 1 + e − ( X ω + b ) e − ( X ω + b ) + y \frac{\partial L}{\partial {b}}=-1+\frac{1}{1+e^{-(X\omega+b)}}e^{-(X\omega+b)}+y ∂b∂L=−1+1+e−(Xω+b)1e−(Xω+b)+y ∂ L ∂ b = − 1 + ( 1 − y ^ ) + y \frac{\partial L}{\partial {b}}=-1+(1-\hat {y})+y ∂b∂L=−1+(1−y^)+y ∂ L ∂ b = y − y ^ \frac{\partial L}{\partial {b}}=y-\hat {y} ∂b∂L=y−y^
综上所述,对数几率回归算法的参数更新公式为: ∂ L ∂ ω = X T ( y − y ^ ) \frac{\partial L}{\partial {\omega}}=X^{T}(y-\hat {y}) ∂ω∂L=XT(y−y^); ∂ L ∂ b = y − y ^ \frac{\partial L}{\partial {b}}=y-\hat {y} ∂b∂L=y−y^。
对数几率回归的NumPy手撕代码
对数几率回归模型的算法思路是建立在线性回归算法之上的,具体过程如下。
初始化与定义Sigmoid函数
def init_params(train_dim):
w = np.zeros((train_dim,1))
b = 0
return w,b
def sigmoid(x):
z=1/(1+np.exp(-x))
return z
定义对数几率回归模型主体
def logistics(X,y,w,b):
num_train = X.shape[0]
num_feature = X.shape[1]
y_hat = sigmoid(np.dot(X,w) + b)
loss = -1/num_train * np.sum(y*np.log(y_hat)+(1-y)*np.log(1-y_hat)) # 交叉熵损失
dw = np.dot(X.T,(y_hat-y))/num_train
db = np.sum((y_hat-y))/num_train
loss = np.squeeze(loss)
return y_hat, loss, dw, db
定义训练过程
def train(X, y, learning_rate=0.01, epochs=10000):
'''
输入:
X:输入数据
y:输出标签
learning_rate:学习率
epochs:迭代次数
输出:
loss_his:每一代的误差
params:参数字典
grads:优化后的梯度
'''
loss_his = []
w, b = init_params(X.shape[1])
for i in range(epochs):
y_hat, loss, dw, db = logistics(X, y, w, b)
w += -learning_rate*dw
b += -learning_rate*db
loss_his.append(loss)
params = {'w':w, 'b':b}
grads = {'dw':dw,'db':db}
return loss_his, params, grads
定义预测函数
def predict(X, params):
'''
输入:
X:测试数据集
params:模型训练参数
输出:
y_pre:预测值
'''
w = params['w']
b = params['b']
y_pre = sigmoid(np.dot(X, w) + b)
for i in range(len(y_pre)):
if y_pre[i]>0.5:
y_pre[i]=1
else:
y_pre[i]=0
return y_pre
下一个章节进一步讲解另外一种分类方法,线性判别分析法。