【吴恩达机器学习】第九章

第九章

9-1神经网络的Cost function

二元分类问题，binary
多元分类问题
其中

L是神经网络的层数
Sl是l层中的神经元个数
K是K个种类 右边多元分类中的K=2

9-2

没看太懂

9-3 理解后向传播算法

9-4展开参数

9-5梯度检测

数值估计梯度
编程过程：

实施建议：

9-6 Random initial 随机初始化

在进行梯度下降法和高级优化的编程时，需要将θ的值初始化，如果初始化为0的话，神经网络的计算出来的特征都会相同，因此需要将值设置为随即小值。

9-7 选择一个神经网络的步骤

步骤如下：

1. 随机初始化权重θ
2. 实施前向传播得到假设值
3. 写代码计算损失函数
4. 后向传播计算损失函数偏导数（前向传播和后向传播的误差项）
5. 训练：使用梯度检测计算损失函数的偏导数
6. 梯度下降或者高级优化方法最小化损失函数，得到权重。