神经网络学习笔记

一、Cost Function(代价函数)

1、首先介绍两个术语：L和

（1）L是神经网络的层数

（2）是指第L层的单元数目(不包括偏置神经元)

上图是二元分类和多元分类中K值和SL的比较

2、下图为神经网络代价函数和逻辑回归代价函数

神经网络代价函数和逻辑回归代价函数的区别是将假设函数h(x)输出的每一个元素都加起来。

注：在加法过程 中，公式下标从1开始。

 

二、Backpropagation Algorithm (BP算法)

采用反向传播算法实现神经网络代价函数最小化。

下面为神经网络代价函数

通过反向传播算法求解代价函数的偏导数。

下面先了解前向传播算法，然后在引出反向传播算法：

前向传播算法主要用来求解神经网络输出层的激活函数，即求解假设函数h(x)。

关于反向传播，就是前向传到过程反过来。

给出右图（总共有4层）所示的例子，之所以叫做反向传播，是因为先从输出层开始计算，从后往前推，类似于把输出结果的误差反向传播给了第3层，又将第3层的误差反向传给了第2层。

 

三、 前向传播和反向传播的实例：

1、首先来看一个前向传播的计算过程，都是利用左侧的数据算出右侧的数据：

2、反向传播的计算过程，利用右侧的数据计算出左侧的数据：