2022吴恩达机器学习deeplearning.ai(七)

第二周1.2模型训练细节

?lost function&cost function

小结：

Loss Function 是定义在单个样本上的，算的是一个样本的误差。

Cost Function 是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

Object Function（目标函数 ）定义为：Cost Function + 正则化项

2.1  Sigmoid激活函数的替代方案

2.2如何选择激活函数

output layer：根据y选择激活函数

hidden layer：ReLu

2.3为什么模型需要激活函数

3.1多分类问题

划分空间为多决策边界

3.2 Softmax

举例：识别邮编上的数字：一共有0-9共10个输出

softmax是逻辑回归的泛化

3.3神经网络的Softmax输出（输出层函数为softmax）

？仅能取其中一个值时称为稀疏，与上个视频中不同的原因应该是代价函数的表达式

3.4 Softmax的改进实现

本质是减少中间值的计算从而改进舍入误差

3.5多个输出的分类/多标签分类

举例：自动驾驶识别图片中是否有bus/car/person