《神经网络与深度学习》学习笔记

１感知器：一种人工神经元，接受多个二进制输入，并产生一个二进制输出。每个输入有一个权重w，表示其重要程度。神经元的输出,0 或者 1,则由分配权重后的总和小于或者大于一些阈值决定。

２S型神经元

S 型神经元有多个输入,x 1 , x 2 , . . .，但与感知器不同，这些输入可以取 0 和 1 中的任意值,而不仅仅是 0 或 1。例如,0.638 . . .。同样,S 型神经元对每个输入有权重,w 1 , w 2 , . . .,和一个总的偏置,b。但是输出不是 0 或 1。其输出为

　　　　　

s型函数如图：

３神经网络架构：分三部分，输入层，隐藏层，输出层，下图为一个多层感知器。

４代价函数或损失函数：我们希望有一个算法,能让我们找到合适的权重和偏置,以至于网络的输出 y(x) 能够拟合所有的训练输入 x。为了量化如何实现这个目标,需要定义一个代价函数，下式为一个均方误差代价函数：

训练神经网络的目的是找到能最小化二次代价函数 C(w, b) 的权重和偏置。

５梯度下降法：可以被视为一种在代价函数 C 下降最快的方向上做微小变化，求代价函数的最小值的方法。

随机梯度下降的算法能够加速学习，其思想就是通过随机选取小量训练输入样本(mini_batch)来计算 ∇C x ,进而估算梯度 ∇C。一个一个样本取，速度太慢，可能在在最小点附近来回震荡，不能到达最小点，每次取全部的样本，数量太多，计算量大，所以就一个小批次一个小批次的取，既加快了速度，一次计算量也不大。

6反向传播算法的四个公式：

（１）输出层误差的方程：

　　

（２）使用下一层的误差 δ l+1 来表示当前层的误差 δ l：

使用前两个公式就可以来计算任何层的误差，由l层，l-1层，l-2层，如此一步一步的反向传播完整个网络。

（３）代价函数关于网络中任意偏