loss funciton:是单个例子相对于真实标签的误差
cost function:是整个数据集产生的loss function的总和,机器学习训练的过程中就是要不断的减小这个cost funciton
逻辑回归几乎所有的初始化方式都有效,因为选择的损失函数是交叉熵,是一个凸函数。
第四周 深层神经网络
核对矩阵的维度:
- 第l层的权重w的维度应该为(n_[l], n_[l-1]), 偏置为:(n_[l], 1)。同理:dw_[l]的维度为:(n_[l], n_[l-1]), db的维度也应该和偏置的维度一样。
为什么需要深层神经网络
- 深层神经网络能够表征高维特征
- 深层神经网络能够比浅层效率更高