学习记录task4--神经网络

1.M-P神经元模型

接受n个输入，并给各个输入赋予权重，计算加权和，然后与自身的阈值Θ进行比较（作减法），最后通过激活函数处理得到输出。

理想中的激活函数是阶跃函数也就是sgn函数，但实际用的是sigmoid函数（因为其连续光滑的较好性质），将大范围变化的输入挤压到（0，1）输出，也称为挤压函数。

2感知机和多层网络

❶感知机模型：阶跃函数作为激活函数，是一种分类模型。

❷感知机学习策略：随机初始化ω，b，将全体训练样本带入模型找出误分类样本集合M，损失函数为Σ（估计值-真实值）x（阶跃函数内函数）。

❸感知机学习算法：采用随机梯度下降法，一次随机选取一个误分类点使其梯度下降，然后根据错误程度进行权重调整。

感知机只有一层功能神经元，只在输出层神经元进行激活函数处理，只能分类线性可分的数据集。要解决非线性可分的问题，使用多层功能神经元 。

多层前馈网络：每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不跨层连接。将神经网络（neutral networks）记为NN看作一个特征加工函数，回归用多元线性函数，分类用logit函数。

3.误差逆传播算法（BP算法）

标准BP算法：针对单个样例，参数更新频繁，多次迭代，不同样例之间的更新效果可能“抵消”，类似基于随机梯度下降。

累积BP算法：针对累积误差最小化，参考数更新频率低，类似基于标准梯度下降。

4.全局最小与局部极小

遗传算法，模拟退火等，用来训练模型接近全局最小，但缺乏理论保障，大都是启发式。