感知器--MP神经元模型
输入项为,其中
是阈值,如果该神经元的总输入值超过该阈值,那么该神经元才会被激活.
感知器--激活函数
为激活函数,当
时,激活函数值会很小或置零,实现对神经元的抑制
感知器--感知器学习
将预测结果与真实结果对比,计算更新后的参数,不断迭代求解神经元的权重以及阈值
感知器--多层前馈神经网络
基于反向传播的多层前馈神经网络
①前馈:数据从输入层输入,到隐含层对数据进行加工处理,最终结果由输出层输出
②反向传播:调整参数的方法,由输出结果与真实结果的偏差,从输出层到隐含层、输入层,反向顺序调整更新权重、阈值等参数
学习算法--误差逆传播算法(BP)
隐藏层神经元的个数是不确定的,需要根据经验搭建
更新参数的计算过程,梯度下降法
标准BP与累积BP
标准BP算法对每一个样本得到的结果都进行一次前馈计算和反向传播,更新参数
而累积BP算法是对所有的样本进行前馈计算后,对整体的损失进行反向传播,更新参数
目前用的最多的是通过batch计算更新
反向传播中存在的问题--过拟合
由于多层前馈网络的表示能力很强,可能反而会导致过拟合的问题
解决方法:
①早停策略,当验证集误差开始升高,训练提前停止
②正则化,在损失函数中增加表示网络复杂程度的部分,例如神经元权值和阈值的平方和
反向传播中存在的问题--陷入局部最优
有助于跳出局部最优解的策略:
①多组随机初始参数,因为不同的初始参数出发点不同,梯度下降得到的终点可能不同,最终选择误差最小的一组初始化参数即可
②模拟退火,即当得到的结果比当前解更好时则接受,比当前解更差时,概率选择接受或舍弃
③随机梯度下降(SGD),计算梯度的过程中加入随机因素,随机取一个维度的梯度作为整体的梯度,使用的是近似的梯度