Andrew Ng机器学习笔记week4、5 神经网络

神经网络的表达

一、Non-linear hypotheses

n很大很大，很多很多个特征。

二、神经元模型

这里又用到了之前提到过的sigmoid函数，作为activation function

三、Forward propagation: Vectorized implementation

前向传播：向量化的实现

一个简单的神经网络的例子

四、多分类

这是一个又多个输出单元的神经网络，得到的结果是多个的（前面提到过二分类与多分类）

神经网络的学习

一、代价函数

二、Backpropagation algorithm–反向传播

这里的反向传播算法计算梯度
①梯度计算


②用反向传播算法来计算梯度

③反向传播算法

三、反向传播与正向传播

四、系数展开

①进一步优化

②举例

③学习算法

五、梯度检验

六、随机初始化

①初始化为0

②随机初始化

七、总结整理