吃瓜笔记5
所有知识点均来源于周志华西瓜书机器学习
5.1神经元模型
神经元接收到来自n个其他神经元传递的带权重的输入信号,将总输入值与阈值比较,通过激活函数产生输出。
激活函数Sigmoid(x)
5.2感知机与多层网络
线性可分,即存在一个线性超平面能将其分开
线性可分:单层神经元;非线性可分:多层神经元。
多层前馈神经网络:每层与下层全连接,同层、跨层不连接
5.3误差逆传播算法BP
标准BP算法、累积BP算法
缓解BP网络过拟合:
1.早停法。训练集误差降低、测试集上升,停止训练。
2.正则化。误差目标函数中增加描述网络复杂度的部分。