吃瓜教程Task4:神经网络 西瓜书第五章

一.感知机模型

模型简介：感知机模型是线性模型之一，拟合一个超平面f(x)=WTX+b来划分样本点，策略为最小化分类错误率。通过迭代的方式求得符合条件能够线性可分的训练样本分开的超平面。当样本非训练可分时，传统的感知机模型将无法训练。也是为了解决这一问题引出了后文中介绍的多层神经元网络结构模型，万有近似原理将使得多层网络结构的模型能够以任意精度拟合函数。将感知机模型手写笔记如下：

二.前馈神经网络模型与BP算法

2.1 前馈神经网络模型

全连接的三层前馈神经网络模型由以下结构构成，待学习的参数包含每个神经元的阈值，以及所有神经元连接上的连接权。

2.2 激活函数

神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。理想的激活函数应该具有以下特征：
（1）连续可导

（2）尽可能简单

（3）导函数的值域在合适的区间内。

激活函数的设定都是为了方便BP算法的计算与求解。

2.3 以sigmoid为激活函数的全连接前馈神经网络BP算法推导：