第五章 神经网络
M-P神经元
单个神经元:感知机(sgn为激活函数)、对数几率回归(sigmoid为激活函数)
多个M-P神经元:神经网络
感知机
①超平面方程不唯一
②法向量w垂直于超平面
③法向量w和位移项b确定唯一一个超平面
④法向量w指向的那一半空间为正空间,另一半为负空间
多层前馈网络
神经网络自动学习提取有用的特征
误差逆传播算法(BP算法)
标准BP算法每次只针对一个训练样例更新连接权和阈值,累计BP算法读取整个batchsize之后再迭代更新,参数更新频率更低,但在累积误差下降到一定程度后标准BP往往可以取得更快更好的效果。