Deep Leaning 学习笔记（2）—— 逻辑回归及梯度下降

逻辑回归及梯度下降

逻辑回归：

L(y,yhat) = sum(y-yhat) —— 损失函数（计算预测值yhat与实际值y的误差）

L(y,yhat) = np.sum(np.abs(y-yhat)) —— python的损失函数实现

逻辑回归一般用到 逻辑回归函数、代价函数、梯度下降。
已上
z                   为 逻辑回归函数
y_hat            为 预测值（预测为1的概率）
L(y,yhat)       为 损失函数lostFunction
L(a,y)             为 代价函数CostFunction，只不过是针对一组样本M = 1来说
1/m * L(a,y)  为 逻辑回归的代价函数

代价函数又称为CostFunction，为误差函数 LostFunction 的 1/m 。

梯度下降：

针对于J(W)的图像为：

Repeat:

其中，又可以直接写作

因此，逻辑回归中的w 和 b的迭代，可以直接写成：

同时，偏导数符号 一般用于参数多余1个变量的时候，因此J(w,b)严格上来讲应该用偏导数符号来写，而不是小写字母d.

计算图导数

同时引用一种新的规则，及在代码实现逻辑回归时，我们将 a 点的导数 d(J)/da 用 “da” 来表示。