逻辑回归及梯度下降
逻辑回归:
L(y,yhat) = sum(y-yhat) —— 损失函数(计算预测值yhat与实际值y的误差)
L(y,yhat) = np.sum(np.abs(y-yhat)) —— python的损失函数实现
逻辑回归一般用到 逻辑回归函数、代价函数、梯度下降。
已上
z 为 逻辑回归函数
y_hat 为 预测值(预测为1的概率)
L(y,yhat) 为 损失函数lostFunction
L(a,y) 为 代价函数CostFunction,只不过是针对一组样本M = 1来说
1/m * L(a,y) 为 逻辑回归的代价函数
代价函数又称为CostFunction,为误差函数 LostFunction 的 1/m 。
梯度下降:
针对于J(W)的图像为:
Repeat:
其中,又可以直接写作
因此,逻辑回归中的w 和 b的迭代,可以直接写成:
同时,偏导数符号 一般用于参数多余1个变量的时候,因此J(w,b)严格上来讲应该用偏导数符号来写,而不是小写字母d.
计算图导数
同时引用一种新的规则,及在代码实现逻辑回归时,我们将 a 点的导数 d(J)/da 用 “da” 来表示。