逻辑回归函数求偏导及Sigmoid函数求偏导

逻辑回归相关公式

我们以单个训练样本为例，逻辑回归预测公式：

z = w(T) x + b

sigmoid激活函数：

y' = a = 𝝈(z) 

𝝈(z) = 1/(1-e^(-z))

损失函数：

L(a,y) = -( ylog(a) + (1-y) * log(1-a) )

对最终函数（损失函数L）求偏导结果

• 损失函数L 对 激活函数a 求偏导：

da = dL/da = -(y/a) + (1-y)/(1-a)

• ① sigmoid 对 预测结果z 求偏导：

da/dz= a(1-a)

• ② 损失函数 对 预测结果z 求偏导：

dz = dL/dz = da * a(1-a) = a-y

• 损失函数L 对 权重w、阈值b求偏导（其中i表示第i个样本）

dw(i) = dL/dw(i) = dz * x(i)

db= dL/db = dz

具体求导过程如下：

求导公式：